Hadoop如何調優

這篇文章將為大家詳細講解有關Hadoop如何調優，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

一 HDFS相關的調優

     關于HDFS的參數調優，第一個就是數據塊的大小dfs.block.size,之前默認是64m,hadoop 2.x好像已經改為128m了，如果網絡環境比較好，建議根據實際業務需求，適當的調大一些。

其他的例如設置文件的備份數目，默認是3，一般不建議更改。一份保存在datanode節點上，一份保存在同一個機架的其他節點上，另一份保存在其他的機架上，默認情況下，數據是隨機分配在各個節點上的，但是可以通過設置機架感知，使得數據在節點間的網絡傳輸減少。

配置如下：在namenode的節點配置hdfs-site.xml

<property>
  <name>topology.script.file.name</name>
  <value>/path/to/RackAware.py</value>
</property

輸入某臺datanode的ip,返回該ip對應的機架。是在腳本中實現的。

#! /usr/bin/python
import sys

rack={"192.168.1,15":"rack1",
       "192.168.1.16":"rack1",
       "192.168.1.17":"rack2",
       "192.168.1.18":"rack2"}

if __name__=="__main__":
   print "/"+rack.get(sys.argv[1],"rack0"}

設置mapred.local和dfs.data.dir，這兩個參數配置的值應當分布在各個磁盤的目錄上。

二 mapreduce的調優

首先從map階段說起，就是設置map的個數問題，默認只有一個map線程，設置map參數的個數是mapred.map.tasks reduce則是mapred.reduce.tasks。因為這兩個參數的設置是影響到整個集群的，就是說會考慮到單臺機器上的map，reduce個數。map.tasktracker.map.tasks.maxinum和map.tasktracker.reduce.tasks.maxinum這兩個參數設置了一臺機器上最多能同時運行的map和reduce數目。還有，就是map和reduce之間是怎么樣的配比比較好呢？通過觀察web界面，查看map和reduce的進度，可以發現當reduce執行到33%時候，map正好執行100%，所以我們可以在控制reduce啟動的時間，不讓reduce在等待。

當map，reduce個數確定了，根據業務需要，最好設置Combiner 。然后是設置map輸出結果到緩存的大小，因為每一個map或者reduce都是一個task，都會啟動一個jvm,,io.sort.mb就是分配map端buffer的大小，等于mb*io.sort.spill.percent。

對于map的結果，我們可以設置壓縮，減少網絡傳輸。那么建議打開mapred.compress.map.output壓縮選項，并配置 mapred.map.output.compression.codec壓縮編碼格式，一般都會使用snappy，因為這種格式對于壓縮和解壓縮都相對較快

還有如果你的集群是異構的，有的機器好，有的機器性能差，建議打開推測性執行，打開mapred.reduce.tasks.speculative.execution，有利于優化進程分配，提高集群性能。

在reduce階段，從map端拷貝數據時，可以設置最大并行拷貝線程數，這些線程會同時從不同的datanode上去map結果 設置mapred.reduce.parallel.copies

下面是一些調優的參數列表：

關于“Hadoop如何調優”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。