hadoop及hbase集群增加節點

一、hadoop擴容

1、配置各節點hosts文件，加入新加入的兩個節點的IP和主機名

新添加的節點添加下面內容

192.168.11.131    master1

192.168.11.132    master2

192.168.11.133    slave1

192.168.11.134    slave2

192.168.11.135    slave3

新節點互相加入對方的主機名解析

老的節點添加下面內容

192.168.11.136    slave4

192.168.11.137    slave5

2、準備工作

參照之前的博客生產環境下hadoop HA集群及Hbase HA集群配置 為新添加的節點做以下操作：

配置主機名

關閉防火墻和selinux

配置yum源

配置時間同步（作為ntp服務客戶端）

創建組和用戶

創建目錄

無密碼登陸

配置java環境

3、修改hadoop配置文件并拷貝hadoop文件

登錄master1節點

$ cd /data1/usr/hadoop-2.7.3/etc/hadoop

$ vi slaves

添加新加入的節點信息

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done

拷貝hadoop文件到新節點

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave4:/data1/usr

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave5:/data1/usr

4、清空日志

登錄到新添加的服務器

$ cd /data1/usr/hadoop-2.7.3/logs

$ rm *.log.*

$ rm *.out.*

$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done

刪除其他項目和文件

對比datanode老的節點，把/data1/usr/hadoop-2.7.3下多余的文件和目錄刪除。

5、啟動服務

分別登陸新節點，啟動datanode

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./hadoop-daemon.sh start datanode

登陸master1節點，刷新datanode列表

$ cd /data1/usr/hadoop-2.7.3/bin

$ ./hdfs dfsadmin -refreshNodes

查看列表信息

$ ./hdfs dfsadmin -report

8、對hdfs負載均衡

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./start-balancer.sh 

如果你的集群有單獨的balance節點，帶寬又足夠大的話，可以考慮做balance優化，因為按照默認配置的話，balance的過程會持續很長一段時間。具體的優化方法可以參考我轉載的另一篇博客：優化Hadoop Balancer平衡的速度。

啟動yarn

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./yarn-daemon.sh start nodemanager   

查看集群情況

$ cd /data1/usr/hadoop-2.7.3/bin

$ yarn rmadmin -refreshNodes

$ ./yarn node -list

9、如有添加journalnode節點的需要還需要添加journalnode服務，不過本次變更沒有添加，添加步驟如下

修改JournalNode地址，必須保證奇數個

vim /data1/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<property>

 <name>dfs.namenode.shared.edits.dir</name>

 <value>qjournal://slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/mycluster</value>

</property>

二、hbase擴容

1、登陸master1，修改配置文件

$ cd /data1/usr/hbase-1.2.4/conf

$ vi regionservers 

添加新節點主機

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done

登陸新節點，創建目錄，修改權限

2、拷貝hbase文件到新節點

登陸master1節點

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.136:/data 

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.137:/data

清理日志

$ cd /data1/usr/hbase-1.2.4/logs

$ rm *.out.*

$ >hbase-hduser-master-master1.log

$ >hbase-hduser-master-master1.out

3、登陸新節點，啟動服務

$ cd /data1/usr/hbase-1.2.4/bin

$ ./hbase-daemon.sh start regionserver

$ ./hbase shell

status