SparkStreaming如何寫入Hive延遲

小編給大家分享一下SparkStreaming如何寫入Hive延遲，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

背景：

Hive版本：1.2.1，Spark 版本：2.3.0, 實時程序邏輯比較簡單，從 Kafka 消費數據，寫到 Hive 表。

數據量級上億，SparkStreaming 的 bath time 為 1 min, 在某一個時刻開始出現任務堆積，即大量任務處于 Queued 狀態，卡在了某個 job，最長延遲時間為 1.7 h。

查看 job 狀態一直處于 processing, 但是發現該 job 寫 hive 的時間也就花費了 30 秒左右，但是該 job 最終執行完的時間遠遠大于這個時間。

慢慢的，每一批次都要慢幾分鐘，出現堆積，最終造成數據大面積延遲。

分析：

寫入 Hive 的部分邏輯代碼，很簡單，如下：

// 上面 RDD 的轉換過程略...
.toDF
.write
.mode(SaveMode.Append)
.insertInto("ods.user_events")

通過查看 Hive 的源碼發現：

閱讀上面的源碼，可以發現往 Hive 中寫數據的時候會在目標表中（1.1 版本之后是默認位置目標表的文件夾）生成一個以.hive-staging 開頭的lin時文件夾，結果會在臨時文件夾存放。執行完成后會，將臨時文件夾 rename，放到對應的目標表文件下。

這里的 rename 并不是直接修改 hive 元數據那么簡單。是在特定條件下才會執行 mv file 的，否則還是會 copy file 的形式。

如果源目錄和目標目錄是同一個根目錄，則會源目錄下的每個文件執行復制操作。反之，執行 remane 操作（只涉及 namenode 元數據，不會有額外數據操作）。

源碼參考：https://github.com/apache/hive/blob/23db35e092ce1d09c5993b45c8b0f790505fc1a5/ql/src/java/org/apache/hadoop/hive/ql/metadata/Hive.java

hive 1.1 之后臨時文件就直接放在目標表對應的目錄下面了，所以最后執行的 copy 操作，如果文件多或者數據量大的情況下，會很慢。

解決：

方案一：修改臨時目錄

<property>
  <name>hive.exec.stagingdir</name>  
  <value>/tmp/hive/.hive-staging</value>
  <description>hive任務生成臨時文件夾地址</description>
</property>
<property>        
  <name>hive.insert.into.multilevel.dirs</name>
  <value>true</value>
  <description>hive.insert.into.mulltilevel.dirs設置成false的時候，insert 目標目錄的上級目錄必須存在；trued的時候允許不存在</description>
</property>

方案二：spark 直接落文件到 HDFS的對應分區中 ，hive 表見外部表與數據進行關聯。這種就不依賴與 hive 了，減少中間環節。這是，盡可能的規避小文件，需要盡可能減少文件個數。

以上是“SparkStreaming如何寫入Hive延遲”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！