spark-一些參數優化

Spark程序優化所需要關注的幾個關鍵點——最主要的是數據序列化和內存優化

spark 設置相關參數
問題1：reduce task數目不合適
解決方法：需根據實際情況調節默認配置，調整方式是修改參數spark.default.parallelism。通常，reduce數目設置為core數目的2到3倍。數量太大，造成很多小任務，增加啟動任務的開銷；數目太少，任務運行緩慢。
如果你想了解大數據的學習路線，想學習大數據知識以及需要免費的學習資料可以加群：784789432.歡迎你的加入。每天下午三點開直播分享基礎知識，晚上20:00都會開直播給大家分享大數據項目實戰。

問題2：shuffle磁盤IO時間長
解決方法：設置spark.local.dir為多個磁盤，并設置磁盤為IO速度快的磁盤，通過增加IO來優化shuffle性能；

問題3：map|reduce數量大，造成shuffle小文件數目多
解決方法：默認情況下shuffle文件數目為map tasks * reduce tasks. 通過設置spark.shuffle.consolidateFiles為true，來合并shuffle中間文件，此時文件數為reduce tasks數目；

問題4：序列化時間長、結果大
解決方法：Spark默認使.用JDK.自帶的ObjectOutputStream，這種方式產生的結果大、CPU處理時間長，可以通過設置spark.serializer為org.apache.spark.serializer.KryoSerializer。另外如果結果已經很大，可以使用廣播變量；

問題5：單條記錄消耗大
解決方法：使用mapPartition替換map，mapPartition是對每個Partition進行計算，而map是對partition中的每條記錄進行計算；

問題6：collect輸出大量結果時速度慢
解決方式：collect源碼中是把所有的結果以一個Array的方式放在內存中，可以直接輸出到分布式?文件系統，然后查看文件系統中的內容；

問題7：任務執行速度傾斜
解決方式：如果是數據傾斜，一般是partition key取的不好，可以考慮其它的并行處理方式 ，并在中間加上aggregation操作；如果是Worker傾斜，例如在某些worker上的executor執行緩慢，可以通過設置spark.speculation=true 把那些持續慢的節點去掉；

問題8：通過多步驟的RDD操作后有很多空任務或者小任務產生
解決方式：使用coalesce或repartition去減少RDD中partition數量；

問題9：Spark Streaming吞吐量不高
解決方式：可以設置spark.streaming.concurrentJobs

schedule調度相關參數
spark.cores.max
CPU計算資源的數量,spark.cores.max 這個參數決定了在Standalone和Mesos模式下，一個Spark應用程序所能申請的CPU Core的數量
這個參數需要注意的是，這個參數對Yarn模式不起作用，YARN模式下，資源由Yarn統一調度管理
CPU資源的數量由另外兩個直接配置Executor的數量和每個Executor中core數量的參數決定。

spark.scheduler.mode
單個Spark應用內部調度的時候使用FIFO模式還是Fair模式

spark.speculation
spark.speculation(推測機制開關)以及spark.speculation.interval(),spark.speculation.quantile, spark.speculation.multiplier等參數調整Speculation行為的具體細節

spark.executor.memory xxG 設置內存
spark.executor.cores x 設置每個excutor核數
spark.cores.max xx 設置最大核使用數量

若如出現各種timeout，executor lost ,task lost
spark.network.timeout 根據情況改成300(5min)或更高。,默認為 120(120s),配置所有網絡傳輸的延時，如果沒有主動設置以下參數，默認覆蓋其屬性