Hadoop偽分布式集群搭建總結

                                           Hadoop偽分布式集群搭建總結

一、所需軟件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
二、安裝
注意：
對文件進行編輯：輸入a，表示對該文件進行編輯，最后保存該文件，操作為：點擊鍵盤上的Esc按鈕，然后輸入英文的:字符，再輸入wq，點擊回車，完成文件的保存。
1、關閉防火墻和禁用SELINUX
（1）、永久關閉防火墻，重啟Linux系統

（2) 、禁用SELINUX：修改文件參數 重啟Linux使其生效

（3）、檢查防火墻是否運行，顯示下圖即為關閉

2、配置hostname與IP地址之間的對應關系
（1）、查看自己的IP

（2）、查看自己的hostname

（3）、配置對應關系

注意：IP與hostname之間有空格
3、創建用戶
（1），創建hadoop用戶

（2）、為hadoop用戶設置密碼

4、配置 SSH免密登錄
（1）、檢查自己系統是否安裝SSH

注意：若沒安裝SSH則在有網的情況下可輸入：yum install openssh-server 進行安裝。
（2）、為hadoop用戶配置SSH免密登錄

注意：一定要切換到hadoop用戶下并進入“~”目錄！

注意：輸入ssh-keygen -t rsa后一直回車即可！
然后進入.ssh目錄進行以下操作

注意：“authorized_keys”一定要準確！**``**
進入“~”目錄為.ssh目錄及其文件賦予相應權限

5、JDK安裝
（1）、創建存放軟件目錄

（2）、上傳解壓jdk

注意：確保紅框內權限為hadoop的！如果為root，可進入root用戶修改為hadoop， 命令為:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,然后重新進入hadoop用戶進行解壓
（3）、為jdk1.8.0_211創建軟連接

（4）、配置bashrc文件

使配置文件生效

（5）、驗證JDK是否安裝成功，顯示下圖即為成功

6、hadoop安裝及配置
（1）、上傳解壓hadoop

注意：確保紅框內權限為hadoop的！如果為root，可進入root用戶修改為hadoop 命令為：chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,然后重新進入hadoop用戶進行解壓

（2）、進入hadoop配置文件目錄進行相應文件配置

配置core-site.xml vi core-site.xml

注意：箭頭所指應為自己的hostname
配置hdfs-site.xml vi hdfs-site.xml

配置hadoop-env.sh vi hadoop-env.sh

注意：此路徑為JDK的安裝目錄
配置mapred-site.xml vi mapred-site.xml

配置yarn-site.xml vi yarn-site.xml

配置slaves vi slaves

注意：此為自己的hostname
（3）、為hadoop-2.7.3創建軟連接

（4）、配置bashrc文件

使配置文件生效

（5）、創建hadoop相關數據目錄

（6）、格式化Namenode hadoop namenode -format

注意：出現以上2個信息即為成功！如果出現要輸入密碼等情況，檢查自己的SSH免密登錄是否配置正確！！！
（7）、啟動hadoop偽分布式集群

注意：出現以上信息輸入yes即可！！！
（8）、通過jps命令查看hadoop的啟動進程

注意：出現以上5個進程即為hadoop偽分布式集群啟動成功