溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要講解了“map分片大小要與塊大小相同嗎”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“map分片大小要與塊大小相同嗎”吧！
所有的省時間優化，主要是講Hadoop采用的數據本地優化，避免浪費寶貴的網絡帶寬，但是有時候對于一個Map任務輸入來說，儲存有某個HDFS數據塊備份的三個節點可能正在運行其他map任務，此時作業調度，也就是所謂的JobTracker需在三個備份中的某個數據尋求同個機架中的空閑機器來運行該map任務。
所以我們應該清楚了為什么最佳分片大小應該與塊大小相同：因為這種機制可以確保可以儲存在單個節點上的最大輸入塊的大小。換句話說加重的字體是我們的目標。如果分片跨越兩個數據塊，那么對于任何一個HDFS節點，基本上都不可能同時儲存這兩個數據塊，因此分片中的部分數據需要通過網絡傳輸到map任務節點，與使用本地數據運行整個map任務相比，這種方法顯然效率更低。
此外，應該注意map任務應該將結果存入本地硬盤，而不是HDFS系統。因為它產生的只是中間結果。
感謝各位的閱讀，以上就是“map分片大小要與塊大小相同嗎”的內容了，經過本文的學習后，相信大家對map分片大小要與塊大小相同嗎這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
