hive中的mapjoin怎么用

這篇文章主要介紹了hive中的mapjoin怎么用，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

遇到一個hive的問題，如下hive sql：

select f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)  

該語句中B表有30億行記錄，A表只有100行記錄，而且B表中數據傾斜特別嚴重，有一個key上有15億行記錄，在運行過程中特別的慢，而且在reduece的過程中遇有內存不夠而報錯。

為了解決用戶的這個問題，考慮使用mapjoin,mapjoin的原理：

MapJoin簡單說就是在Map階段將小表讀入內存，順序掃描大表完成Join。
上圖是Hive MapJoin的原理圖，出自Facebook工程師Liyin Tang的一篇介紹Join優化的slice，從圖中可以看出MapJoin分為兩個階段：
通過MapReduce Local Task，將小表讀入內存，生成HashTableFiles上傳至Distributed Cache中，這里會對HashTableFiles進行壓縮。
MapReduce Job在Map階段，每個Mapper從Distributed Cache讀取HashTableFiles到內存中，順序掃描大表，在Map階段直接進行Join，將數據傳遞給下一個MapReduce任務。

MAPJION會把小表全部讀入內存中，在map階段直接拿另外一個表的數據和內存中表數據做匹配，由于在map是進行了join操作，省去了reduce運行的效率也會高很多

這樣就不會由于數據傾斜導致某個reduce上落數據太多而失敗。于是原來的sql可以通過使用hint的方式指定join時使用mapjoin。

select /*+ mapjoin(A)*/ f.a,f.b 
from A t join B f  
on ( f.a=t.a and f.ftime=20110802) 

再運行發現執行的效率比以前的寫法高了好多。

mapjoin還有一個很大的好處是能夠進行不等連接的join操作，這種操作如果直接使用join的話語法不支持不等于操作，hive語法解析會直接拋出錯誤。如果把不等于寫到where里會造成笛卡爾積，數據異常增大，速度會很慢。甚至會任務無法跑成功~。

根據mapjoin的計算原理，MAPJION會把小表全部讀入內存中，在map階段直接拿另外一個表的數據和內存中表數據做匹配。這種情況下即使笛卡爾積也不會對任務運行速度造成太大的效率影響。

而且hive的where條件本身就是在map階段進行的操作，所以在where里寫入不等值比對的話，也不會造成額外負擔。

如此看來，使用MAPJOIN開發的程序僅僅使用map一個過程就可以完成不等值join操作，效率還會有很大的提升。

例子：

select /*+ MAPJOIN(a) */ a.start_level, b.* 
from dim_level a join (select * from test) b
 where b.xx>=a.start_level and b.xx<end_level;

簡單總結一下，mapjoin的使用場景：

1. 關聯操作中有一張表非常小

2.不等值的鏈接操作

感謝你能夠認真閱讀完這篇文章，希望小編分享的“hive中的mapjoin怎么用”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!