Hadoop 系列（六）—— HDFS 常用 Shell 命令

1. 顯示當前目錄結構

# 顯示當前目錄結構
hadoop fs -ls  <path>
# 遞歸顯示當前目錄結構
hadoop fs -ls  -R  <path>
# 顯示根目錄下內容
hadoop fs -ls  /

2. 創建目錄

# 創建目錄
hadoop fs -mkdir  <path> 
# 遞歸創建目錄
hadoop fs -mkdir -p  <path>  

3. 刪除操作

# 刪除文件
hadoop fs -rm  <path>
# 遞歸刪除目錄和文件
hadoop fs -rm -R  <path> 

4. 從本地加載文件到 HDFS

# 二選一執行即可
hadoop fs -put  [localsrc] [dst] 
hadoop fs - copyFromLocal [localsrc] [dst] 

5. 從 HDFS 導出文件到本地

# 二選一執行即可
hadoop fs -get  [dst] [localsrc] 
hadoop fs -copyToLocal [dst] [localsrc] 

6. 查看文件內容

# 二選一執行即可
hadoop fs -text  <path> 
hadoop fs -cat  <path>  

7. 顯示文件的最后一千字節

hadoop fs -tail  <path> 
# 和Linux下一樣，會持續監聽文件內容變化 并顯示文件的最后一千字節
hadoop fs -tail -f  <path> 

8. 拷貝文件

hadoop fs -cp [src] [dst]

9. 移動文件

hadoop fs -mv [src] [dst] 

10. 統計當前目錄下各文件大小

• 默認單位字節
• -s : 顯示所有文件大小總和，
• -h : 將以更友好的方式顯示文件大小（例如 64.0m 而不是 67108864）

  hadoop fs -du  <path>  

11. 合并下載多個文件

• -nl 在每個文件的末尾添加換行符（LF）
• -skip-empty-file 跳過空文件

hadoop fs -getmerge
# 示例 將HDFS上的hbase-policy.xml和hbase-site.xml文件合并后下載到本地的/usr/test.xml
hadoop fs -getmerge -nl  /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml

12. 統計文件系統的可用空間信息

hadoop fs -df -h /

13. 更改文件復制因子

hadoop fs -setrep [-R] [-w] <numReplicas> <path>

• 更改文件的復制因子。如果 path 是目錄，則更改其下所有文件的復制因子
• -w : 請求命令是否等待復制完成

# 示例
hadoop fs -setrep -w 3 /user/hadoop/dir1

14. 權限控制

# 權限控制和Linux上使用方式一致
# 變更文件或目錄的所屬群組。 用戶必須是文件的所有者或超級用戶。
hadoop fs -chgrp [-R] GROUP URI [URI ...]
# 修改文件或目錄的訪問權限  用戶必須是文件的所有者或超級用戶。
hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
# 修改文件的擁有者  用戶必須是超級用戶。
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

15. 文件檢測

hadoop fs -test - [defsz]  URI

可選選項：

• -d：如果路徑是目錄，返回 0。
• -e：如果路徑存在，則返回 0。
• -f：如果路徑是文件，則返回 0。
• -s：如果路徑不為空，則返回 0。
• -r：如果路徑存在且授予讀權限，則返回 0。
• -w：如果路徑存在且授予寫入權限，則返回 0。
• -z：如果文件長度為零，則返回 0。

# 示例
hadoop fs -test -e filename

更多大數據系列文章可以參見 GitHub 開源項目： 大數據入門指南