hadoop如何部署

這篇文章將為大家詳細講解有關hadoop如何部署，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Hadoop的三種模式：
Standalone Operation 單機模式 不開發  不生產  沒有進程
Pseudo-Distributed Operation 偽分布式 開發 不生產  獨立進程 但是只部署在1臺機器
Fully-Distributed Operation 分布式 開發 生產  獨立進程 但是只部署在n臺機器

部署：
1.解壓
命令：tar -xzvf  hadoop-2.8.1.tar.gz


2.配置hosts文件
vi /etc/hosts 然后再尾部加上自己的IP和機器名字
如：


3.修改權限



4.配置文件
part1:
切換到hadoop用戶后再切換到我的hadoop資源目錄


從官網獲取配置代碼，添加到configuration配置里

更改localhost為我們自己的ID

part2:指令：vi etc/hadoop/hdfs-site.xml修改文件hdfs-site.xml



5.無密碼ssh
輸入指令ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa


繼續執行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
            chmod 0600 ~/.ssh/authorized_keys

指令執行完成后用ssh 192.168.137.252來檢查，如果結果仍然是自己的話就成功了。

這里可能會要給hadoop用戶設置進入密碼，可以去root用戶使用命令passwd hadoop（可以是你的hadoop用戶名）設定。


6.namenode格式化
首先切換用戶到hadoop用戶，然后我們跳轉到/opt/software/hadoop.... 即hadoop的文件目錄下了，輸入指令bin/hdfs namenode -format，此事如果報錯為（WARN net.DNS: Unable to determine local hostname -falling back to "localhost" java.net.UnknownHostException: ruozehadoop001.localdomain: ruozehadoop001.localdomain: unknown error
），我們需要進入文件/etc/sysconfig/network中，vi編輯它，變成如圖：

如果沒有報錯則結果為：


7.啟動
還是在hadoop文件目錄下vi進入文件vi etc/hadoop/hadoop-env.sh，按I修改文件尾部添加內容為如圖：
輸入指令：sbin/start-dfs.sh得到如圖結果則為成功:
輸入JPS查看結果為：

關于“hadoop如何部署”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。