spark怎么查看job history日志

這篇文章主要介紹“spark怎么查看job history日志”，在日常操作中，相信很多人在spark怎么查看job history日志問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”spark怎么查看job history日志”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

SPARK_HOME/conf 下:

spark-defaults.conf 增加如下內容

spark.eventLog.enabled true 
spark.eventLog.dir hdfs://master:8020/var/log/spark 
spark.eventLog.compress true

spark-env.sh 增加如下內容

export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark”

啟動start-history-server.sh

SPARK_HOME/conf 下: 執行 ./start-history-server.sh

spark job history web: master:18080

這樣在spark任務運行完成之后,就可以通過web頁面查看日志了

history server相關的配置參數描述

1. spark.history.updateInterval 
   　　默認值：10 
   　　以秒為單位，更新日志相關信息的時間間隔

2. spark.history.retainedApplications 
   　　默認值：50 
   　　在內存中保存Application歷史記錄的個數，如果超過這個值，舊的應用程序信息將被刪除，當再次訪問已被刪除的應用信息時需要重新構建頁面。

3. spark.history.ui.port 
   　　默認值：18080 
   　　HistoryServer的web端口

4. spark.history.kerberos.enabled 
   　　默認值：false 
   　　是否使用kerberos方式登錄訪問HistoryServer，對于持久層位于安全集群的HDFS上是有用的，如果設置為true，就要配置下面的兩個屬性

5. spark.history.kerberos.principal 
   　　默認值：用于HistoryServer的kerberos主體名稱

6. spark.history.kerberos.keytab 
   　　用于HistoryServer的kerberos keytab文件位置

7. spark.history.ui.acls.enable 
   　　默認值：false 
   　　授權用戶查看應用程序信息的時候是否檢查acl。如果啟用，只有應用程序所有者和spark.ui.view.acls指定的用戶可以查看應用程序信息;否則，不做任何檢查

8. spark.eventLog.enabled 
   　　默認值：false 
   　　是否記錄Spark事件，用于應用程序在完成后重構webUI

9. spark.eventLog.dir 
   　　默認值：file:///tmp/spark-events 
   　　保存日志相關信息的路徑，可以是hdfs://開頭的HDFS路徑，也可以是file://開頭的本地路徑，都需要提前創建

10. spark.eventLog.compress 
    　　默認值：false 
    　　是否壓縮記錄Spark事件，前提spark.eventLog.enabled為true，默認使用的是snappy

以spark.history開頭的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog開頭的配置在spark-defaults.conf 

到此，關于“spark怎么查看job history日志”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！