如何進行Spark Job 動態分配資源的分析

本篇文章為大家展示了如何進行Spark Job 動態分配資源的分析，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

項目中使用spark 自帶的thrift-server做hdfs數據查詢統計服務。當數據過多時，thrift-server 需要分配大量的資源，當不需要查詢時分配當量的資源又顯得非常浪費，因此想到是否有可能動態分配資源。
（thrift-server也是一個job（yarn app），因此這種方法同樣適用于一般的spark job）。
目前動態資源分配只適合spark on yarn，配置方式如下。

yarn node manager 配置

修改所有節點yarn node-manager配置，在$HADOOP_HOME/etc/hadoop/yarn-site.xml中添加：

    <property><name>yarn.nodemanager.aux-services.spark_shuffle.class</name><value>org.apache.spark.network.yarn.YarnShuffleService</value></property><property><name>spark.shuffle.service.port</name><value>7337</value></property>

將$SPARK_HOME/lib/spark-1.3.0-yarn-shuffle.jar copy到 $HADOOP_HOME/share/hadoop/yarn/lib 目錄下。

重啟yarn。

spark-default配置

修改 $SPARK_HOME/conf/spark-default.conf 文件，添加以下內容：

spark.shuffle.service.enabled true
spark.shuffle.service.port 7337 spark.dynamicAllocation.enabled true
spark.dynamicAllocation.minExecutors 1spark.dynamicAllocation.maxExecutors 12spark.dynamicAllocation.schedulerBacklogTimeout 1spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 5spark.dynamicAllocation.cachedExecutorIdleTimeout 60

驗證

這里使用spark中內置的thrift-server驗證。
啟動thrift-server，只配置 --executor-memory 參數。
sbin/start-thriftserver.sh --master yarn-client --executor-memory 1g
通過application UI可看到executors分配，當有并發查詢或者查詢壓力比較大時，會申請更多的executor，空閑時回收。

上述內容就是如何進行Spark Job 動態分配資源的分析，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。