Spark?SQL小文件問題如何處理

本篇內容主要講解“Spark SQL小文件問題如何處理”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Spark SQL小文件問題如何處理”吧!

1.1、小文件危害

大量的小文件會影響Hadoop集群管理或者Spark在處理數據時的穩定性：

• 1.Spark SQL寫Hive或者直接寫入HDFS，過多的小文件會對NameNode內存管理等產生巨大的壓力，會影響整個集群的穩定運行

• 2.容易導致task數過多，如果超過參數spark.driver.maxResultSize的配置（默認1g），會拋出類似如下的異常，影響任務的處理

Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 478 tasks (2026.0 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

當然可以通過調大spark.driver.maxResultSize的默認配置來解決問題，但如果不能從源頭上解決小文件問題，以后還可能遇到類似的問題。此外，Spark在處理任務時，一個分區分配一個task進行處理，多個分區并行處理，雖然并行處理能夠提高處理效率，但不是意味著task數越多越好。如果數據量不大，過多的task運行反而會影響效率。最后，Spark中一個task處理一個分區從而也會影響最終生成的文件數。

1.2、產生小文件過多的原因

1、流式處理中，每個批次的處理執行保存操作也會產生很多小文件
2、為了解決數據更新問題，同一份數據保存了不同的幾個狀態，也容易導致文件數過多

1.3、如何解決這種小文件的問題呢？

1. 通過repartition或coalesce算子控制最后的DataSet的分區數, 注意repartition和coalesce的區別

2. 將Hive風格的Coalesce and Repartition Hint 應用到Spark SQL 需要注意這種方式對Spark的版本有要求，建議在Spark2.4.X及以上版本使用，

示例：
INSERT ... SELECT /*+ COALESCE(numPartitions) */ ...
INSERT ... SELECT /*+ REPARTITION(numPartitions) */ ...

• 小文件定期合并可以定時通過異步的方式針對Hive分區表的每一個分區中的小文件進行合并操作

上述只是給出3種常見的解決辦法，并且要結合實際用到的技術和場景去具體處理，比如對于HDFS小文件過多，也可以通過生成HAR 文件或者Sequence File來解決。

1.3.1、調優參數

在小文件場景下，您可以通過如下配置手動指定每個Task的數據量（Split Size），確保不會產生過多的Task，提高性能。

當SQL邏輯中不包含Shuffle操作時，設置此配置項，不會有明顯的性能提升。

set spark.default.parallelism = 400;

/*+ coalesce(40) */ 調整最后的task個數；

SELECT age, name FROM person DISTRIBUTE BY age;//按照某個字段重新分區重新分區。
對于使用動態分區的任務，使用distribute by。

insert overwrite table dm.dm_grw_retain_abtest_sd partition (year, month, day, retain_days)
select ……
distribute by retain_days -- 最終每個子分區一個文件
distribute by retain_days, cast(rand()*7 as int) -- 最終每個子分區7個文件

到此，相信大家對“Spark SQL小文件問題如何處理”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！