如何在YARN上運行ElasticSearch

這篇文章主要介紹“如何在YARN上運行ElasticSearch”，在日常操作中，相信很多人在如何在YARN上運行ElasticSearch問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何在YARN上運行ElasticSearch”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

        這么做的目的，主要是為了統一資源管理(cpu和內存)。一體化平臺，spark，es ,mr等都在一起跑的時候，做好資源的調度。

在故事開始之前，先去把插件下載了。

插件地址

安裝主要參考了官方文檔

[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar 
No command specified
Usage:
     -download-es  : Downloads Elasticsearch.zip
     -install      : Installs/Provisions Elasticsearch-YARN into HDFS
     -install-es   : Installs/Provisions Elasticsearch into HDFS
     -start        : Starts provisioned Elasticsearch in YARN
     -status       : Reports status of Elasticsearch in YARN
     -stop         : Stops Elasticsearch in YARN
     -help         : Prints this help

Configuration options can be specified _after_ each command; see the documentation for more information.

[root@master nq]#

安裝過程比較簡單，根據文檔順序來遍就好了，可能會出現的情況就是，HDFS權限問題。

[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -download-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install-es
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -install
[root@master nq]# hadoop jar elasticsearch-yarn-2.1.0.BUILD-SNAPSHOT.jar -start containers=2  #我啟動了2個，為了副本能分配

完成后，能在ＨＤＦＳ下面看到２個文件

YARN這邊也能看到日志和應用了

ＥＳ這邊訪問ＯＫ

[root@master nq]# curl localhost:9200
{
  "status" : 200,
  "name" : "Shadowmage",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "1.4.0",
    "build_hash" : "bc94bd81298f81c656893ab1ddddd30a99356066",
    "build_timestamp" : "2014-11-05T14:26:12Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.2"
  },
  "tagline" : "You Know, for Search"
}
[root@master nq]#

好了，大功告成。剛要開心的大笑，就發現了2個嚴重的問題，然后笑容凝固。

1. 怎么安裝插件？

2. 數據存哪兒去了？ local or hdfs 

看著HDFS上的zip包，我茫然了，首先確定的是插件，肯定是沒提供相應的接口了，從圖1也能看出來。經過一頓糾結后，想到了2個辦法。

1. 把插件打包進zip包里面。

1. 安裝過程的，第一步，（-download-es）會把es下載到當前dowanloads目錄下面，

2. 去dowanloads里面把elasticsearch-1.4.0.zip解壓，再把head等插件弄進去，壓縮

3. 替換HDFS上的zip包，

4. stop & start

2. 使用plugin命令安裝。

jps -v|grep elastic

./bin/plugin -install mobz/elasticsearch-head

jps找到ES的運行目錄(-Des.path.home)，然后就沒有然后了。熟悉的head。到這里，其實索引文件是不是存在HDFS里面也清楚了。

到此，關于“如何在YARN上運行ElasticSearch”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！