溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容主要講解“Hadoop的參數怎么調優”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hadoop的參數怎么調優”吧!
1、搭建集群之前，在hdfs-site.xml中提前配置好多目錄
2、dfs.nammenode.handler.count=20*log2(集群總數量)，是namenode線程池，處理datanode的心跳、客戶端請求等
3、editslog存儲路徑dfs.nammenode.edits.dir 和 dfs.nammenode.name.dir 分開配置
4、yarn物理內存默認8g，任務如果卡死可以調低下，不會動態分配，yarn.nodemanager.resource.memory-mb
5、mr的參數優化，環形緩沖區大小io.sort.mb 默認100M ，可根據集群性能調整；溢寫文件百分比io.sort.spill.percent 默認80%，可根據集群性能調至90%~95%，以及map任務個數和reduce拉取個數的調整。
到此，相信大家對“Hadoop的參數怎么調優”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
