Storm單機安裝的方法是什么

這篇文章主要講解了“Storm單機安裝的方法是什么”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Storm單機安裝的方法是什么”吧！

重點講解：

conf.setNumWorkers(3);-------->創建的worker的進程會平均分配到storm的集群節點上的

StormSubmitter.submitTologyWithProgressBar(args[0],conf,builder.createTology());

---->args[0]  --就是前面代碼中的最后一個Blot的名字count

1、Storm的集群成員：

nimbus

ZK

supervisor

worker(其中有executer)

作用：

nimbus：負責接收客戶端數據和調度，調度時向zk要supervisor的信息，然后根據信息調度，nimbus 和supervisor不直接通信

supervisor：負責監控下級節點的運行狀態，如果supervisor掛掉，nimbus會根據zk返回的信息重新調度

worker：worker是進程，當worker拿到任務時會啟動一個executor線程，然后executor線程工作

注：，nimbus負責任務調度和接收客戶端數據，supervisor和worker都是進程，supervisor是管理進程，worker是工作進程，executor才是真正的工作線程。

ZK：高可用，配置信息存儲在znode上

2、Strom的安裝

1）、部署依賴環境     ---  要求Java  6+  、Python  2.6.6+

2）、部署zookeeper

--3.4.5+

--zk為啥要用3.4.5，因為他支持磁盤的快照和namenode的定期刪除，避免磁盤被打滿。

3）、分發storm包---這里使用0.9.4版本

4）、配置storm    ---修改storm.yaml配置文件

5）、啟動strom

單機安裝

Java,python部署  運行java -version  和 python  -version驗證版本
上傳apache-storm-0.9.5.tar.gz
tar zxf apache-storm-0.9.5.tar.gz
cd apache-storm-0.9.5
mkdir logs
./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &
驗證： 登錄地址http://node11:8080/查看

jobs  --->該命令用于查看當前終端后臺運行的任務。

ss  -tanl  ---->查看端口占用

6627 端口----》nimbus

supervisor  --》不許要端口，只需要監視worker

執行此命令，感受一下storm

./bin/storm  jar examples/storm-starter/storm-starter-topologies-0.9.4.jar   storm.starter.WordCountTopology  wordcount

storm 三節點的部署

3個節點部署Zookeeper集群（這里不做演示）

node11為nimbus，開始配置

1、將storm包解壓

2、修改storm/conf/storm.yaml 配置文件，內容如下（注意，其中的空格是有用的，不能刪除）

storm.zookeeper.servers:
  - "192.168.47.21"
  - "192.168.47.22"
  - "192.168.47.23"

storm.local.dir: "/tmp/storm"

nimbus.host: "192.168.47.21"

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

3、在storm目錄中創建logs目錄
4、啟動ZooKeeper集群

5、node11上啟動Nimbus
$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
$ tail -f logs/nimbus.log
$ ./bin/storm ui >> ./logs/ui.out 2>&1 &
$ tail -f logs/ui.log

6、節點nod12和node13啟動supervisor，按照配置，每啟動一個supervisor就有了4個slots
$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
$ tail -f logs/supervisor.log
當然node11也可以啟動supervisor

7、http://192.168.47.21:8080/
$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

8、環境變量可以配置也可以不配置
export STORM_HOME=/usr/storm
export PATH=$PATH:$STORM_HOME/bin

感謝各位的閱讀，以上就是“Storm單機安裝的方法是什么”的內容了，經過本文的學習后，相信大家對Storm單機安裝的方法是什么這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！