hbase的官方建議有哪些

這篇文章主要介紹“hbase的官方建議有哪些”，在日常操作中，相信很多人在hbase的官方建議有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hbase的官方建議有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

    1、regionServer上region的個數：官方給出的建議是20-200個region，但是下面又說

    如何粗略計算regionServer上region：有個公式，
    

HBase 0.98.x

((RS Xmx) * hbase.regionserver.global.memstore.size) / (hbase.hregion.memstore.flush.size * (# column families))+

HBase 0.94.x

((RS Xmx) * hbase.regionserver.global.memstore.upperLimit) / (hbase.hregion.memstore.flush.size * (# column families))+

    貌似hbase.regionserver.global.memstore.size和 hbase.regionserver.global.memstore.upperLimit默認值都是0.4，也就是說如果我RS的內存分配16G，其他都是默認值，只有一個列族，0.98版本的一個region個數有51個，為什么這么計算？其實這是一種極限情況，hbase.regionserver.global.memstore.upperLimit其實這個參數的作用是防止內存占用過大，當ReigonServer內所有region的memstores所占用內存總和達到heap的40%時，HBase會強制block所有的更新并flush這些region以釋放所有memstore占用的內存。這個公式是假設memstore達到最大值了，為了不發生上面的情況。 同upperLimit，只不過lowerLimit在所有region的memstores所占用內存達到Heap的35%時，不flush所有的memstore。它會找一個memstore內存占用最大的region，做個別flush，此時寫更新還是會被block。lowerLimit算是一個在所有region強制flush導致性能降低前的補救措施。在日志中，表現為 “** Flush thread woke up with memory above low water.”
 

    參數調整會影響讀寫，如果寫的壓力大導致經常超過這個閥值，則調小讀緩存hfile.block.cache.size增大該閥值，或者Heap余量較多時，不修改讀緩存大小。
如果在高壓情況下，也沒超過這個閥值，那么建議你適當調小這個閥值再做壓測，確保觸發次數不要太多，然后還有較多Heap余量的時候，調大hfile.block.cache.size提高讀性能
    參數調整會影響讀寫，（以下是經驗之談吧）如果寫的壓力大導致經常超過這個閥值，則調小讀緩存hfile.block.cache.size，增大該閥值，或者Heap余量較多時，不修改讀緩存大小。

    如果在高壓情況下，也沒超過這個閥值，那么建議你適當調小這個閥值再做壓測，確保觸發次數不要太多，然后還有較多Heap余量的時候，調大hfile.block.cache.size提高讀性能
    hfile.block.cache.size表示storefile的讀緩存占用Heap的大小百分比，0.2表示20%。該值直接影響數據讀的性能。hbase.regionserver.global.memstore.upperLimit和這個參數一個影響寫，一個影響讀，如果兩值加起來超過80-90%，會有OOM的風險。
 

    2、Maximum region size
    官方推薦maximum region size is 10-20Gb，5-10Gb is optimal.
    0.98版本后加入了一些優化機制，可以使得region size 更大。

到此，關于“hbase的官方建議有哪些”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！