hbase性能優化的示例分析

這篇文章給大家分享的是有關hbase性能優化的示例分析的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

查詢緩存

Scan的caching屬性默認值是1，意味著掃描器每次從region服務器抓取1條記錄進行匹配。我們可以設置caching為比1大得多的值。例如，設置為500，則一次可以抓取500條，需要注意的是該值設得越大服務器的內存開銷會越多。

HTableInterface hTable=getHTable(tableName);

Scan scan=new Scan();

/*設置緩存*/

scan.setCaching(StaticConfig.getIControl_hbase_cache());

ResultScanner scanner= hTable.getScanner(scan);

多線程配置

Hbase.regionser.handler.count

RegionServer中RPC監聽器實例的數量。對于master來說，這個屬性是master受理的處理線程（handler）數量。默認值是10。

根據調控層的業務場景，1條運價的匹配查詢就會產生4條hbase并發查詢。如果有20條，就可能有80條并發，這個并發量是相當的。除了將該參數適當調大可以增加并發處理能力外，還跟集群的數量和服務器的配置有直接的關系，預計集群數量越多，服務器CPU核數越高，并發處理能力越強。

預分區

HRegion是Hbase中分布式存儲和負載均衡的最小單元。最小單元就表示不同的Hregion可以分布在不同的HRegion server上。但一個Hregion是不會拆分到多個server上的。

Hbase.hregion.max.filesize

HstoreFile的最大值。Region中任何一個列族的存儲文件如果超過了這個上限，就會被拆分成兩個region。默認：268435456（256x1024x1024），即256M。

我們的調控文件比較小，要達到分區最大上限256M需要較多的調控文件。為了提高并發量，我們需要在沒有達到分區上限的情況下，產生多個hregion來保存和處理數據，這里就用hbase的預分區功能。

示例：

Configuration conf = HBaseConfiguration.create()

HBaseAdmin admin = new HBaseAdmin(conf);

HTableDescriptor desc = new HTableDescriptor(

            Bytes.toBytes(tablename));

HColumnDescriptor coldef = new HColumnDescriptor(

            Bytes.toBytes(colfamily));

admin.createTable(desc, Bytes.toBytes(1L),Bytes.toBytes(10L), 10);

//以第一位字符不同劃分區

desc.setValue(HTableDescriptor.SPLIT_POLICY,

                     KeyPrefixRegionSplitPolicy.class.getName());

                     desc.setValue("prefix_split_key_policy.prefix_length","1");

感謝各位的閱讀！關于“hbase性能優化的示例分析”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！