Hadoop熱添加刪除節點的步驟

這篇文章主要講解了“Hadoop熱添加刪除節點的步驟”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Hadoop熱添加刪除節點的步驟”吧！

添加節點

1.修改host 
  和普通的datanode一樣。添加namenode的ip
2.修改namenode的配置文件conf/slaves 
  添加新增節點的ip或host
3.在新節點的機器上，啟動服務 

[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker(hadoop1)
[root@slave-004 hadoop]# ./bin/yarn-daemon.sh start nodemanager(hadoop2)

4.均衡block 

[root@slave-004 hadoop]# ./bin/start-balancer.sh

1）如果不balance，那么cluster會把新的數據都存放在新的node上，這樣會降低mapred的工作效率 
2）設置平衡閾值，默認是10%，值越低各節點越平衡，但消耗時間也更長 

[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5

3）設置balance的帶寬(hdfs-site)，默認只有1M/s

 
 　　dfs.balance.bandwidthPerSec  
 　　1048576  
 　　  
 　　　　Specifies the maximum amount of bandwidth that each datanode   
 　　　　can utilize for the balancing purpose in term of   
 　　　　the number of bytes per second.   
 　　

注意： 
1. 必須確保slave的firewall已關閉; 
2. 確保新的slave的ip已經添加到master及其他slaves的/etc/hosts中，反之也要將master及其他slave的ip添加到新的slave的/etc/hosts中
3.如果start-balancer.sh運行完了仍然沒有反應的話，就把-threshold盡量調小，越小越均衡所耗時間也就越小

start-balancer.sh -threshold 1

Hbase

如果還有hbase在上面運行則需要部署hbase的hserver
5.在hbasemaster上修改regionservers
vim /home/hadoop/hbase/conf/regionservers
加入新節點
vim /home/hadoop/hbase/conf/hbase-site.xml
hbase.zookeeper.quorum屬性加入新節點
6.復制上面兩個文件到各個節點
7.在新節點上啟動hbase regionserver
  hbase-daemon.sh start regionserver
8.在hbasemaster啟動hbase shell
用status命令確認一下集群情況

刪除節點

1.集群配置 
   修改conf/hdfs-site.xml文件

   
 　　dfs.hosts.exclude  
 　　/data/soft/hadoop/conf/excludes  
 　　Names a file that contains a list of hosts that are   
 　　not permitted to connect to the namenode.  The full pathname of the   
 　　file must be specified.  If the value is empty, no hosts are   
 　　excluded.

編輯conf/mapred-site.xml文件，增加如下配置：
<property>
          <name>mapred.hosts.exclude</name>
          <value>/opt/hadoop_conf/exclude_node</value>
</property>

2確定要下架的機器 
dfs.hosts.exclude定義的文件內容為,每個需要下線的機器，一行一個。這個將阻止他們去連接Namenode。如： 

slave-003  
slave-004

  3.強制重新加載配置 

[root@master hadoop]# ./bin/hadoop dfsadmin  -refreshNodes

它會在后臺進行Block塊的移動
4.關閉節點 
等待剛剛的操作結束后，需要下架的機器就可以安全的關閉了。 

[root@master hadoop]# ./bin/ hadoop dfsadmin -report

可以查看到現在集群上連接的節點

正在執行Decommission，會顯示： 
Decommission Status : Decommission in progress  

執行完畢后，會顯示： 
Decommission Status : Decommissioned

 5.再次編輯excludes文件 
一旦完成了機器下架，它們就可以從excludes文件移除了 
登錄要下架的機器，會發現DataNode進程沒有了，但是TaskTracker依然存在，需要手工處理一下

感謝各位的閱讀，以上就是“Hadoop熱添加刪除節點的步驟”的內容了，經過本文的學習后，相信大家對Hadoop熱添加刪除節點的步驟這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！