怎么運行MapReduce

這篇文章主要講解了“怎么運行MapReduce”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“怎么運行MapReduce”吧！

運行MapReduce

代碼打jar包，不要包含依賴，使用maven的默認打包工具就行

# ls hdfs的目錄
hadoop dfs -ls /user/hadoop/
# 刪除output 目錄
hadoop dfs rm -f -r /user/hadoop/output
# 新建input
hadoop dfs -mkdir -p /user/hadoop/input
# 從本地文件系統copy 數據到hdfs
hadoop dfs -put input_bak/sample.txt /user/hadoop/input
# 運行 mapreduce
hadoop jar hadoopdemo.jar MaxTemperature input/sample.txt output
# 查看結果
hadoop dfs -get /usr/hadoop/output /home/hadoop/
cd /home/hadoop/output
more part-r-00000

##采坑

• hadoop 2.x hadoop 3.x API變化大，不兼容

• hadoop 配置 mapred-site.xml

• 數據文件要上傳到hdfs

• 額，hdfs 常用命令

      （1）查看幫助
          hdfs dfs -help 
      （2）查看當前目錄信息
          hdfs dfs -ls /
          
      （3）上傳文件
          hdfs dfs -put /本地路徑 /hdfs路徑
          
      （4）剪切文件
          hdfs dfs -moveFromLocal a.txt /aa.txt
          
      （5）下載文件到本地
          hdfs dfs -get /hdfs路徑 /本地路徑
          
      （6）合并下載
          hdfs dfs -getmerge /hdfs路徑文件夾 /合并后的文件
          
      （7）創建文件夾
          hdfs dfs -mkdir /hello
          
      （8）創建多級文件夾
          hdfs dfs -mkdir -p /hello/world
          
      （9）移動hdfs文件
          hdfs dfs -mv /hdfs路徑 /hdfs路徑
          
      （10）復制hdfs文件
          hdfs dfs -cp /hdfs路徑 /hdfs路徑
          
      （11）刪除hdfs文件
          hdfs dfs -rm /aa.txt
          
      （12）刪除hdfs文件夾
          hdfs dfs -rm -r /hello
          
      （13）查看hdfs中的文件
          hdfs dfs -cat /文件
          hdfs dfs -tail -f /文件
          
      （14）查看文件夾中有多少個文件
          hdfs dfs -count /文件夾
          
      （15）查看hdfs的總空間
          hdfs dfs -df /
          hdfs dfs -df -h /
          
      （16）修改副本數    
          hdfs dfs -setrep 1 /a.txt

感謝各位的閱讀，以上就是“怎么運行MapReduce”的內容了，經過本文的學習后，相信大家對怎么運行MapReduce這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！