開發環境 hadoop&hbase集群環境磁盤丟失處理總結

問題描述：

集群

192.168.22.178 master1

192.168.22.179 master2  

192.168.22.40 data1&zk&kafka&es

192.168.22.69 data2&zk&kafka&es

192.168.22.177 data3&kafka&es  

192.168.22.180 data4  

主機192.168.22.40和192.168.22.177是hadoop集群的datanode同時也是hbase的regionserver，數據存放在/data和/data2兩個目錄，兩個目錄所掛載的磁盤因為異常情況丟失了，集群出現異常，不能正常提供服務。

恢復步驟：

1、等待云主機恢復狀態，磁盤重新申請格式化掛載。

3、重建zk、kafka、es集群

2、把主機192.168.22.69上的/data、/data1下的目錄拷貝到兩臺機器，之后刪除其中的log文件及數據。

3、同步journal數據

把主機192.168.22.69上/data/hadoop_data/journal/masters 目錄拷貝到其他兩臺機器的/data/hadoop_data/journal目錄下。

4、啟動兩臺hadoop服務，切換hbase數據存放目錄

$ vim /data/hbase/conf/hbase-site.xml

    <property>

        <name>hbase.rootdir</name>

        <value>hdfs://masters/hbase</value>

    </property>

>>

    <property>

        <name>hbase.rootdir</name>

        <value>hdfs://masters/hbase1</value>

    </property>

同步配置文件到所有的集群節點

上邊的方式是徹底放棄了hbase的數據，這是因為是測試環境，如果不是測試環境，數據比較重要的話，則需要另外的方式，比如下面網站所示的方式：

https://blog.csdn.net/anyking0520/article/details/79064967

登錄zk服務器192.168.22.40，刪除zk集群中保存的hbase表的數據信息

# cd /home/box/zookeeper-3.4.6/bin

# ./zkCli.sh

進入shell后使用下面命令刪除

rmr /hbase/table

5、關閉hadoop集群保護模式

在主節點上

$ cd /data/hadoop/bin

$ ./hadoop dfsadmin -safemode leave

6、注意啟動集群的順序

6.1、恢復啟動zookeeper集群

在主節點上

6.2、啟動hadoop集群服務

配置好hadoop集群后，啟動整個hadoop集群服務

$ cd /data/hadoop/sbin

$ ./start-all.sh

離開hadoop集群安全模式

查看hdfs集群狀態是否正常

$ cd /data/hadoop/bin 

$ ./hdfs dfsadmin -report

6.3、關閉hadoop集群保護模式

6.4、配置好hbase后，啟動hbase集群

$ cd /data/hbase/bin

$ start-hbase.sh

查看hbase集群狀態是否正常

$ cd /data/hbase/bin

$ ./hbase shell

進入shell后使用status命令查看狀態