Hadoop命令的使用分析

這篇文章給大家介紹Hadoop命令的使用分析，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

Hadoop命令

所有的hadoop命令均由bin/hadoop腳本引發。不指定參數運行hadoop腳本會打印所有命令的描述。
用法：hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS]
Hadoop有一個選項解析框架用于解析一般的選項和運行類。

命令選項描述
--configconfdir覆蓋缺省配置目錄。缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS多個命令都支持的通用選項。
COMMAND
命令選項S各種各樣的命令和它們的選項會在下面提到。這些命令被分為用戶命令管理命令兩組。

Hadoop命令常規選項

下面的選項被dfsadmin,fs,fsck和job支持。應用程序要實現Tool來支持常規選項。
GENERIC_OPTION描述
-conf<configurationfile>指定應用程序的配置文件。
-D<property=value>為指定property指定值value。
-fs<local|namenode:port>指定namenode。
-jt<local|jobtracker:port>指定jobtracker。只適用于job。
-files<逗號分隔的文件列表>指定要拷貝到mapreduce集群的文件的逗號分隔的列表。只適用于job。
-libjars<逗號分隔的jar列表>指定要包含到classpath中的jar文件的逗號分隔的列表。只適用于job。
-archives<逗號分隔的archive列表>指定要被解壓到計算節點上的檔案文件的逗號分割的列表。只適用于job。

用戶命令

hadoop集群用戶的常用命令。
archive
創建一個hadoop檔案文件。參考HadoopArchives.
用法：hadooparchive-archiveNameNAME<src>*<dest>

命令選項描述
-archiveNameNAME要創建的檔案的名字。
src文件系統的路徑名，和通常含正則表達的一樣。
dest保存檔案文件的目標目錄。

distcp
Hadoop命令distcp用于遞歸地拷貝文件或目錄。參考DistCp指南以獲取等多信息。
用法：hadoopdistcp<srcurl><desturl>

命令選項描述
srcurl源Url
desturl目標Url

fs

用法：hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS]
運行一個常規的文件系統客戶端。
各種命令選項可以參考HDFSShell指南。

fsck
Hadoop命令主要用來運行HDFS文件系統檢查工具。參考Fsck了解更多。
用法：hadoopfsck[GENERIC_OPTIONS]<path>[-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]

命令選項描述
<path>檢查的起始目錄。
-move移動受損文件到/lost+found
-delete刪除受損文件。
-openforwrite打印出寫打開的文件。
-files打印出正被檢查的文件。
-blocks打印出塊信息報告。
-locations打印出每個塊的位置信息。
-racks打印出data-node的網絡拓撲結構。

jar

Hadoop命令主要用來運行jar文件。用戶可以把他們的MapReduce代碼捆綁到jar文件中，使用這個命令執行。
用法：hadoopjar<jar>[mainClass]args...
streaming作業是通過這個命令執行的。參考Streamingexamples中的例子。
Wordcount例子也是通過jar命令運行的。參考Wordcountexample。

job

用于和MapReduce作業交互和命令。
用法：hadoopjob[GENERIC_OPTIONS][-submit<job-file>]|[-status<job-id>]|[-counter<job-id><group-name><counter-name>]|[-kill<job-id>]|[-events<job-id><from-event-#><#-of-events>]|[-history[all]<jobOutputDir>]|[-list[all]]|[-kill-task<task-id>]|[-fail-task<task-id>]

命令選項描述
-submit<job-file>提交作業
-status<job-id>打印map和reduce完成百分比和所有計數器。
-counter<job-id><group-name><counter-name>打印計數器的值。
-kill<job-id>殺死指定作業。
-events<job-id><from-event-#><#-of-events>打印給定范圍內jobtracker接收到的事件細節。
-history[all]<jobOutputDir>-history<jobOutputDir>打印作業的細節、失敗及被殺死原因的細節。更多的關于一個作業的細節比如成功的任務，做過的任務嘗試等信息可以通過指定[all]選項查看。
-list[all]-listall顯示所有作業。-list只顯示將要完成的作業。
-kill-task<task-id>殺死任務。被殺死的任務不會不利于失敗嘗試。
-fail-task<task-id>使任務失敗。被失敗的任務會對失敗嘗試不利。

關于Hadoop命令的使用分析就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。