您好,登錄后才能下訂單哦!
這篇文章將為大家詳細講解有關Hadoop命令怎么用,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
用法:
hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS]
[COMMAND_OPTIONS]
字段 | 描述 |
--config confdir | 覆蓋默認配置目錄。默認目錄是${HADOOP_HOME}/conf |
--loglevel loglevel | 覆蓋日志級別。有效值:FATAL、ERROR、WARN、INFO、DEBUG和TRACE。默認為INFO。 |
GENERIC_OPTIONS | 支持多個命令的options集合 |
COMMAND_OPTIONS | Hadoop子項目的各種命令的options集合 |
Generic Options
GENERIC_OPTIONS | 描述 |
-archives | Specify comma separated archives to be unarchived on the compute machines. Applies only to job. |
-conf | 指定一個應用程序的配置文件 |
-D = | 使用指定屬性值 |
-files | 指定逗號分隔的文件列表復制到MapReduce集群。只應用于任務。 |
-jt or | 指定ResourceManager。只應用于任務。 |
-libjars | 指定逗號分隔的jar文件包括在classpath中。應用于任務。 |
所有這些命令從hadoop shell command執行。它們被分為用戶命令和管理員命令。
Hadoop集群用戶使用的命令。
archive
創建hadoop歸檔。
checknative
用法:hadoop checknative [-a] [-h]
COMMAND_OPTION | 描述 |
-a | 檢測所有類庫是否可用 |
-h | 打印幫助 |
該命令檢測Hadoop本地代碼有效性。默認,該命令只檢測libhadoop有效性。
classpath
用法:
用法:hadoop classpath [--glob |--jar <path> |-h |--help]
COMMAND_OPTION | 描述 |
--glob | 執行通配符 |
--jar | 指定jar名稱 |
-h |--help | 打印幫助 |
打印需要獲取的Hadoop jar和必須類庫的classpath。如果沒有參數,那么打印整個
classpath。額外選項打印通配符擴展后面的classpath或寫classpath到jar文件的清單文件
中。
credential
用法:
hadoop credential <subcommand> [options]
COMMAND_OPTION | 描述 |
create alias [-provider provider-path] | 提示用戶證書存儲為指定別名。core-site.xml文件中的 hadoop.security.credential.provider.path將被使用除非提供-provider參數。 |
delete alias [-provider provider-path] [-f] | 使用指定別名刪除證書。core-site.xml文件中的 hadoop.security.credential.provider.path 將被使用,除非指定-provider。指定-f選項系統會詢問你是否確認執行命令。 |
list [-provider provider-path] | 列出所有的證書別名。core-site.xml的 hadoop.security.credential.provider.path 將被使用,除非指定-provider。 |
命令管理在證書提供商中管理證書、密碼和秘鑰。
Hadoop的CredentialProvider API允許將應用程序和它們需要的密碼/秘鑰分開存儲。為了指定
特殊提供商的類型和位置,用戶必須在core-site.xml文件中設置
hadoop.security.credential.provider.path配置元素或使用命令行選項-provider。該提供商
路徑是一個逗號分隔的表示提供商類型和位置的URL列表。例如:
user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path
/test.jceks
表示當前用戶的證書文件通過User Provider獲取,本地文件系統位于/tmp/test.jceks是Java
Keystore Provider,HDFS文件系統中的nn1.example.com/my/path/test.jceks也是Java
Keystore Provider。
當利用證書命令,它將提供密碼或秘鑰給特定證書存儲提供商。為了明確指定提供商存儲位置
使用-provider選項。否則,指定多個提供商,第一個非瞬時的提供商被使用。
例子:
hadoop credential list -provider jceks://file/tmp/test.jceks
distcp
遞歸復制文件和目錄。
fs
等價于HDFS中的hdfs dfs命令。
jar
用法:
hadoop jar <jar> [mainClass] args...
運行jar文件。
使用yarn jar加載YARN應用程序。
key
通過KeyProvider管理鍵。
trace
瀏覽和修改Hadoop追蹤設置。
version
用法:
hadoop version
打印版本。
classname
用法:
hadoop CLASSNAME
運行類名CLASSNAME的類。
Hadoop集群管理員使用的命令。
daemonlog
用法:
hadoop daemonlog -getlevel <host:httpport> <classname>
hadoop daemonlog -setlevel <host:httpport> <classname> <level>
COMMAND_OPTION | 描述 |
-getlevel | 打印運行在后臺host:httpport以完全限定類名定義的日志的級別。該命令內部鏈接http:///logLevel?log= |
-setlevel | 設置運行在后臺host:httpport以完全限定類名定義的日志的級別。該命令內部鏈接http:///logLevel?log=&level= |
關于“Hadoop命令怎么用”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。