hadoop中exceeds the limit of concurrent xcievers錯誤怎么處理

本篇內容介紹了“hadoop中exceeds the limit of concurrent xcievers錯誤怎么處理”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

dfs.datanode.max.transfer.threads： 默認 4096 < 2.0之前該參數為dfs.datanode.max.xcievers >
解釋：Specifies the maximum number of threads to use for transferring data in and out of the DN.

表示datanode上負責進行文件操作的線程數。如果需要處理的文件過多，而這個參數設置得過低就會有一部分文件處理不過來，就會報異常。
linux系統中所有的文件操作都被綁定到一個socket上，進一步具體可以把他看做是一個線程。而這個參數就是指定這種線程的個數。
在datanode里面有一個專門的線程組來維護這些線程，同時有一個守護線程來監視這個線程組的體量，它負責監測線程數量是否到達上線，
超過就拋出異常，則需調大 hdfs-site.xml 文件中的 dfs.datanode.max.transfer.threads 。

dfs.datanode.max.transfer.threads 參數設置過小，datanode 異常：
ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,
storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020)
:DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256

注意：dfs.datanode.max.transfer.threads 數目不能大于系統打開文件數的設置，即/etc/security/limits.conf中nofile的數值。

“hadoop中exceeds the limit of concurrent xcievers錯誤怎么處理”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！