03Hadoop3與Centos7安裝手冊

安裝hadoop

解壓hadoop

sudo tar -zxvf hadoop

相關配置

1、將doc目錄進行刪除

將/hadoop01/hadoop3/share

下的doc目錄進行刪除

rm -rf doc

2、對hadoop01/hadoop3/etc/hadoop

修改export JAVA_HOME="/yds/java/jdk8"

chmod +x hadoop-env.sh

3、偽分布式的環境搭建

目錄：/hadoop01/hadoop3/etc/hadoop

3-1、修改core-site.xml

在configuration節點上加

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop001:9000</value>

</property>

注:hadoop001是主機名

3-2、修改hdfs-site.xml

在configuration節點上加

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

3-3、免密設置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  

chmod  0600 ~/.ssh/authorized_keys

可通過ssh 主機名進行測試

3-4、啟動hadoop

首次啟動需要初始化

進入到bin目錄下：

./hdfs namenode -format

如果需要進行hdfs直接運行。需要將hdfs放到里面

修改hdfs的環境變量

sudo /etc/profile

export $HADOOP_HOME=/hadoop01/hadoop3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

啟動進入到sbin目錄

./start-dfs.sh

查看是否啟動:

jps

如果出現外網無法訪問時：

端口外網可訪問：

iptables -I INPUT 9 -p udp --dport 9870 -j ACCEPT

systemctl start firewalld.service#啟動firewall

systemctl stop firewalld.service#停止firewall

systemctl disable firewalld.service#禁止firewall開機啟動

訪問hdfs:

http://192.168.0.130:9870