Yarn shuffle OOM錯誤分析及解決是怎樣的

Yarn shuffle OOM錯誤分析及解決是怎樣的，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

最近集群中一些任務經常在reduce端跑出Shuffle OOM的錯誤，具體錯誤如下： 

 2015-03-09 16:19:13,646 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#14  
 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)  
 at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)  
 at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:167)  
 at java.security.AccessController.doPrivileged(Native Method)  
 at javax.security.auth.Subject.doAs(Subject.java:396)  
 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1550)  
 at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162) Caused by: java.lang.OutOfMemoryError: Java heap space  
 at org.apache.hadoop.io.BoundedByteArrayOutputStream.(BoundedByteArrayOutputStream.java:56)  
 at org.apache.hadoop.io.BoundedByteArrayOutputStream.(BoundedByteArrayOutputStream.java:46)  
 at org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput.(InMemoryMapOutput.java:63)  
 at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.unconditionalReserve(MergeManagerImpl.java:297)  
 at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.reserve(MergeManagerImpl.java:287)  
 at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyMapOutput(Fetcher.java:411)  
 at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:341)  
 at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:165)

Yarn shuffle OOM錯誤分析及解決 先看一下基本流程，map端進行處理后將結果放在map端local路徑中，map端不斷心跳匯報給MRAppMaster，在適當的階段(另外可以寫一個流程說明)，reduce啟動，reduce發送心跳給MRAppMaster，獲取已經結束的map task對象。之后對已經結束的map進程的數據進行拉取俗稱Shuffle，拉取是通過Fetcher線程進行的，隨后進行sort。 有關的幾個重要參數 ：

 public static final String SHUFFLE_INPUT_BUFFER_PERCENT = “mapreduce.reduce.shuffle.input.buffer.percent”;     默認0.7

 public static final String SHUFFLE_MEMORY_LIMIT_PERCENT = “mapreduce.reduce.shuffle.memory.limit.percent”;     默認0.25 

 public static final String SHUFFLE_MERGE_PERCENT = “mapreduce.reduce.shuffle.merge.percent”;     默認0.66 

這個問題是在Fetcher過程中爆出的。首先解釋一下參數，第一個參數SHUFFLE_INPUT_BUFFER_PERCENT是指在總的HeapSize中shuffle占得內存百分比我們總的HeapSize是1.5G，那大概Fetcher就是1.0G。 SHUFFLE_MEMORY_LIMIT_PERCENT是指的map copy過來的數據是放內存中還是直接寫磁盤。 超過1.5G*0.7*0.25=250M的都放在磁盤中，其它開辟內存空間，放在內存中。

SHUFFLE_MERGE_PERCENT是指merge的百分比，超過這個百分比后停止fetcher，進行merge，merge到磁盤中。 跑出OOM后，調了下jvm參數，獲取heapdump數據，根據MAT獲取以下數據。

數據如下： 

Yarn shuffle OOM錯誤分析及解決Yarn shuffle OOM錯誤分析及解決 首先發現整體的內存并沒有到1.5G。其次，看了下內存對象分布，byte數組占了很大比例，這也很正常，所有內存中的buffer都是以byte數組形式出現的。在對比一下byte數組大小，大于900M，這就有一個問題了，首先整體HeapSize是1.5G，old區大概是1個G，這時候如果byte數組是900M來一個100M+的拷貝，由于是大內存開辟，不會進入Young區，直接開辟內存空間到Old區，而Old區即使fullgc也沒有那么多連續空間，所以分配失敗，報OOM錯誤。這時，只是一個假設，調整Xmn參數，減小Young區內存大小，增大Old區進行測試，成功，印證了想法。 

但是對于我們跑任務調整jvm參數畢竟不現實，那么我們根據經驗調整SHUFFLE_INPUT_BUFFER_PERCENT參數就可以了，調整為0.6即可解決問題。

關于Yarn shuffle OOM錯誤分析及解決是怎樣的問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。