您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“Hadoop怎么實現集群搭建”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“Hadoop怎么實現集群搭建”這篇文章吧。
主要環境:
CentOS6.4
JDK 1.6
Hadoop 1.2.1
使用三臺機器進行搭建。
Master(NameNode、SecondaryNameNode、JobTracker):10.0.0.13
Slave(DataNode、TaskTracker):10.0.0.15
Slave(DataNode、TaskTracker):10.0.0.16
1.三臺機器都配置/etc/hosts文件
2.配置ssh免密碼連接,在每臺機器上均運行ssh-keygen -t rsa ,之后將每臺機器生成的
id_rsa.pub合并為authorized_keys,并復制到每臺機器上
3.配置hadoop目錄下的conf/hadoop-env.sh 中的java環境變量
4.修改hdfs-site.xml 修改hdfs中數據塊要復制多少份
5.修改mapred-site.xml 配置jobtracker
6.修改core-site.xml 指定數據目錄(使用mkdir創建/usr/hadoop/tmp目錄)
7.修改masters和slaves
8.使用scp命令將hadoop目錄復制到各個節點
9.并在每個節點配置hadoop環境變量(編輯/etc/profile 立即生效source /etc/profile)
10.格式化
11.啟動hadoop運行start-all.sh
12.最后使用jps驗證是否啟動相應java進程
Master:
Slave:
以上是“Hadoop怎么實現集群搭建”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。