HADOOP/HBase動態新增節點

1. 檢查JDK版本是否相同并拷貝JDK，并配置/etc/profile文件的JAVA_HOME和CLASSPATH屬性

2. 配置/etc/hosts文件，新增新加機器的計算機名，包括原有機器和新增機器都要修改該文件

3. 拷貝hadoop-2.6.0和hbase-1.0.1.1，并把hadoop-2.6.0和hbase-1.0.1.1文件夾的文件所有者和文件所屬組改成hadoop

4. 配置Master到Slave的無密碼登錄

5. 設置機器句柄數,修改/etc/security/limits.conf,詳見http://beyond3518.blog.51cto.com/1360525/1764190

6. 安裝snappy

    6.1 安裝軟件: Gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3, glibc

           安裝方法 : yum install xxx

    6.2 安裝glibc方法 : 

            6.2.1 到192.168.9.110的/data/server/glibc-2.14.tar.gz拷貝文件,把該文件拷貝到/usr/local目錄下

            6.2.2 進入/usr/local目錄下, cd /usr/local

            6.2.3 解壓glibc-2.14.tar.gz,  tar -zxvf glibc-2.14.tar.gz

            6.2.4 新建目錄/usr/local/glibc, mkdir /usr/local/glibc

            6.2.5 進入/usr/local/glibc目錄, cd /usr/local/glibc

            6.2.6 運行命令 export CFLAGS="-g -O2"

            6.2.7 運行命令 /usr/local/glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

            6.2.8 運行命令 make

            6.2.9 運行命令 make install

            6.2.10 驗證是否安裝成功 : 

                        運行命令 : ll /lib64/libc.so.6 , 如果顯示結果 /lib64/libc.so.6 -> libc-2.14.so , 則安裝成功

7. 修改hadoop的slaves配置文件,添加新增節點,并把該配置文件發送到所有其他節點上去

8. 添加Datanode

對于新添加的Datanode節點,需要啟動datanode進程,從而將其添加到集群

    8.1 在新增的節點上，運行sbin/hadoop-daemon.sh start datanode 啟動datanode進程

    8.2 在新增的節點上, 運行sbin/yarn-daemon.sh start nodemanager 啟動nodemanager進程

    8.3 然后在namenode通過hdfs dfsadmin -report查看集群情況

    8.4 最后還需要對hdfs負載設置均衡，因為默認的數據傳輸帶寬比較低，可以設置為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可

    8.5 默認balancer的threshold為10%，即各個節點與集群總的存儲使用率相差不超過10%，我們可將其設置為5%

    8.6 然后啟動Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可

9. 添加Nodemanager

由于Hadoop 2.X引入了YARN框架，所以對于每個計算節點都可以通過NodeManager進行管理，同理啟動NodeManager進程后，即可將其加入集群

    9.1 在新增節點，運行sbin/yarn-daemon.sh start nodemanager即可

    9.2 在ResourceManager，通過yarn node -list查看集群情況

10. 修改hbase的regionservers配置文件,添加新增節點.并把該配置文件發送到所有其他節點

11. 在新增的節點上,啟動regionserver. 運行hbase-daemon.sh start regionserver即可

12. 修改InputService/StoreService服務器的/etc/hosts文件,添加新節點的域名