hadoop參數調優的方法是什么

這篇文章主要介紹“hadoop參數調優的方法是什么”，在日常操作中，相信很多人在hadoop參數調優的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hadoop參數調優的方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

一、 hdfs-site.xml 配置文件

1、 dfs.blocksize 
參數：hadoop文件塊大小
描述：新文件的默認塊大小，以字節為單位，默認 134217728 字節。
可以使用以下后綴(大小寫不敏感):k(kilo)、m(mega)、g(giga)、t(tera)、p(peta)、e(exa)來指定大小(如128k、512m、1g等)，
或者以字節為單位提供完整的大小。

2、 dfs.namenode.handler.count
參數：namenode的服務器線程數
描述：NameNode有一個工作線程池用來處理客戶端的遠程過程調用及集群守護進程的調用。處理程序數量越多意味著要更大的池來處理來自不同DataNode的并發心跳以及客戶端并發的元數據操作。對于大集群或者有大量客戶端的集群來說，通常需要增大參數dfs.namenode.handler.count的默認值10。設置該值的一般原則是將其設置為集群大小的自然對數乘以20，即20logN，N為集群大小。

3、 dfs.datanode.balance.bandwidthPerSec
參數： datanode 平衡帶寬
描述：指定每個datanode可以利用每秒字節數來平衡目標的最大帶寬。

4、 dfs.replication
參數：塊副本數
描述：默認的塊復制。可以在創建文件時指定復制的實際數量。如果在create time中沒有指定復制，則使用默認值3。

5、dfs.datanode.max.transfer.threads
參數：datanode 最大傳輸線程數
描述：指定用于傳輸數據進出DN的最大線程數。集群中如果不一致，會造成數據分布不均。

二、 core-site.xml 配置文件

1、 io.file.buffer.size
參數：文件的緩沖區大小
描述：用于順序文件的緩沖區大小。這個緩沖區的大小應該是硬件頁面大小的倍數(在Intel x86上是4096)，它決定了在讀寫操作中緩沖了多少數據。SequenceFiles 讀取和寫入操作的緩存區大小，還有map的輸出都用到了這個緩沖區容量， 可減少 I/O 次數。建議設定為 64KB 到 128KB

三、 yarn-site.xml 配置文件

1、 yarn.nodemanager.resource.memory-mb
參數：該節點 nodemanager 資源池內存 
描述：NodeManager節點上可使用的物理內存總量，默認是8192（MB），根據節點所能分配的最大的內存進行分配即可，注意為操作系統與其他服務預留資源。

2、yarn.nodemanager.resource.cpu-vcores
參數：該節點 有多少cpu加入資源池 ， 默認值為8
描述：表示該節點上YARN可使用的虛擬CPU個數，默認是8，注意，目前推薦將該值設值為與物理CPU核數數目相同。如果你的節點CPU核數不夠8個，則需要調減小這個值，而YARN不會智能的探測節點的物理CPU總數。

到此，關于“hadoop參數調優的方法是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！