Hbase 無法創建帶有snappy壓縮屬性的表

一、要求

在Hbase 數據庫中創建帶有snappy壓縮屬性的表。

二、登陸到hbase 數據庫執行建表操作

hbase(main):016:0> create 'dcs:t_dev_history',{NAME => 'f', DATA_BLOCK_ENCODING => 'PREFIX_TREE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => '2678400', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}

channel 6: open failed: administratively prohibited: open failed

之前創建的表都沒有使用snappy壓縮，懷疑是snappy沒有安裝

三、檢查所有hbase節點

Master1節點snappy安裝正確

[hadoop@hadoop-test-Master1 lib]$ cd $HBASE_HOME/lib/native/Linux-amd64-64/

[hadoop@hadoop-test-Master1 Linux-amd64-64]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so         libsnappy.so

Master2節點snappy安裝錯誤，猜測當時安裝的時候scp的路徑錯誤

[hadoop@hadoop-test-Master2 ~]$ cd /var/lib/hbase/lib/native/ --發現沒有Linux-amd64-64 目錄

[hadoop@hadoop-test-Master2 native]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so  

       libsnappy.so        

四、處理過程

1.把文件傳輸到指定節點

 scp -rp Linux-amd64-64 hadoop-test-Master2:/var/lib/hbase/lib/native/

 scp -rp Linux-amd64-64 hadoop-test-Node1:/var/lib/hbase/lib/native/

2.然后重啟hbase集群

./stop-hbase.sh 

./start-hbase.sh 

3.重新創建表成功。

五、小結

1. 作為一名dba，做完相關的操作一定要驗證，一定要驗證，要有嚴謹的態度。

2. 遇到很多問題根本不是技術問題，而是有些人從來都不用心，得過且過。

3. 壓縮在hadoop和hbase中是一個很好的節約空間的方式，值得提倡，尤其是在經費緊張的情況下。

4. snappy需要單獨安裝，并不是安裝hadoop自帶的，需要注意。