Spark調優之硬件要求有哪些

這篇文章將為大家詳細講解有關Spark調優之硬件要求有哪些，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

一，存儲系統

因為因為大多數Spark工作可能需要從外部存儲系統（例如Hadoop文件系統或HBase）中讀取輸入數據，所以將其盡可能靠近該系統很重要。所以，有如下建議：

1，如果可能，在與HDFS相同的節點上運行Spark。最簡單的方式是將spark 的Standalone集群和hadoop集群安裝在相同的節點，同時配置好Spark和hadoop的內存使用，避免相互干擾(對于hadoop，每個task的內存配置參數是mapred.child.java.opts； mapreduce.tasktracker.map.tasks.maximum 和mapreduce.tasktracker.reduce.tasks.maximum 決定了task的數目)。也可以將hadoop和spark運行在共同的集群管理器上，如mesos和 yarn。

2，如果不可能，請在與HDFS相同的局域網中的不同節點上運行Spark。

3，對于低延遲數據存儲（如HBase），可能優先在與存儲系統不同的節點上運行計算任務以避免干擾。

二，本地磁盤

雖然Spark可以在內存中執行大量的計算，但它仍然使用本地磁盤來存儲不適合RAM的數據，以及在stage之間，也即shuffle的中間結果。我們建議每個節點至少有4-8塊磁盤，并且不需要RAID，僅僅是獨立的磁盤掛在節點。在Linux中，使用noatime選項安裝磁盤，以減少不必要的寫入。在spark任務中，spark.local.dir配置可以十多個磁盤目錄，以逗號分開。如果你運行在hdfs上，與hdfs保持一致就很好。

使用noatime選項安裝磁盤，要求當掛載文件系統時，可以指定標準Linux安裝選項（noatime），這將禁用該文件系統上的atime更新。磁盤掛在命令：

mount -t gfs BlockDevice MountPoint -o noatime

BlockDevice 指定GFS文件系統駐留的塊設備。

MountPoint 指定GFS文件系統應安裝的目錄。

例子：

mount -t gfs /dev/vg01/lvol0 /gfs1 -o noatime

三，內存

單臺機器內存從8GB到數百GB，spark都能運行良好。在所有情況下，我們建議僅為Spark分配最多75％的內存;留下其余的操作系統和緩沖區緩存。

需要多少內存取決于你的應用程序。要確定你的應用的特定數據集需要多大內存，請加載部分數據集到內存，然后在Spark UI的Storage界面去看它的內存占用量。

請注意，內存使用受到存儲級別和序列化格式的極大影響 - 有關如何減少內存使用的技巧，請參閱另一篇調優的文章。

最后，請注意，對于超過200GB的內存的機器JAVA VM運行狀態并不一直表現良好。如果你買的機器內存超過了200GB，那么可以在一個節點上運行多個worker。Spark Standalone模式下，你可以在配置文件 conf/spark-env.sh中設置SPARK_WORKER_INSTANCES的值來設置單節點worker的數目。也可以設置SPARK_WORKER_CORES參數來設置每個Worker的cpu數目。

四，網絡

根據以往的經驗，假如數據是在內存中，那么spark的應用的瓶頸往往就在網絡。用10 Gigabit或者更高的網絡，是使spark應用跑的最更快的最佳方式。特別是針對“distributed reduce”應用，如group-bys,reduce-bys和sql joins，就表現的更加明顯。在任何給定的應用程序中，你可以通過spark ui查看spark shuffle過程夸網絡傳輸了多少數據。

五，cpu

即使每臺機器幾十個cpu，spark也可以很好的擴展，因為他在線程之間執行最小的共享cpu。你應該每臺機器至少配置8-16個內核。根據cpu負載，可能需要更多的cpu：一旦數據在內存中，大多數應用程序的瓶頸就在CPU和內存。

關于“Spark調優之硬件要求有哪些”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。