Hadoop中的日志文件總結

這篇文章主要講解了“Hadoop中的日志文件總結”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Hadoop中的日志文件總結”吧！

參考資料：hadoop 日志存放位置

1、Hadoop MapReduce日志分類

1）、服務日志

2）、作業日志

2、Hadoop 1.x版本中MapReduce的服務日志包括？

1）、JobTracker日志

JobTracker：在JobTracker安裝節點上，默認位置是
        ${hadoop.log.dir}/logs/*-jobtracker-*.log，該文件每天生成一個，舊的日志后綴是日期，當天的日志文件后綴是“.log”，其中${hadoop.log.dir}默認值是hadoop安裝目錄，即${HADOOP_HOME}。

2）、各個TaskTracker日志

TaskTracker：在各個TaskTracker安裝節點上，默認位置是
    $HADOOP_HOME/logs/*-tasktracker-*.log，該文件每天生成一個，舊的日志后面會跟一個日志，當天的日志文件后綴是“.log”

3、作業日志包括哪兩部分日志？

    作業日志包括jobhistory日志和task日志兩部分

4、jobhistory日志的作用？

    jobhistory日志是作業運行日志，包括作業啟動時間、結束時間、每個任務的啟動時間、結束時間、各種counter信息等，用戶可以從這個日志中解析出作業運行的各種信息，是非常有價值的信息。

5、jobhistory日志默認存放位置？

    默認存放位置是JobTracker所在節點的${hadoop.log.dir}/history目錄下

6、jobhistory日志存放位置可通過什么選項配置？

    可通過參數hadoop.job.history.location配置。

7、task日志存放位置？

    每個task日志存放在task運行節點上，存放位置是${hadoop.log.dir}/userlogs//目錄下。

8、每個task日志包含哪幾個子文件？

    每個task包含三個日志文件，分別是stdout、stderr和syslog。

    1）、stdout

    stdout：是通過標準輸出打印出來的日志。

    比如System.out.println，注意，程序中通過標準輸出打印的日志并不會直接顯示在終端上，而是保存在這個文件中。

    2）、syslog

    syslog是通過log4j打印的日志，通常這個日志中包含的有用信息最多，也是錯誤調試中最關鍵的參考日志。

感謝各位的閱讀，以上就是“Hadoop中的日志文件總結”的內容了，經過本文的學習后，相信大家對Hadoop中的日志文件總結這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！