Hadoop安裝和環境搭建方法

這篇文章主要介紹“Hadoop安裝和環境搭建方法”，在日常操作中，相信很多人在Hadoop安裝和環境搭建方法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop安裝和環境搭建方法”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

目錄

• 一. 下載環境

• 二. 創建Hadoop用戶

• 1.進入用戶，打開終端輸入如下命令：

• 2.設置密碼

• 三. 進行Hadoop內部環境的搭建

• 四. 安裝ssh并配置無密碼登陸

• 1.登陸

• 2.設置無密碼登陸

• 五.安裝Java環境

• 六.安裝Hadoop

• 七.Hadoop偽分布配置

• 1.配置文件

• 2.開啟NameNode 和 DataNode 守護進程

• 八.Hadoop集群搭建

• 總結

一. 下載環境

Ubuntu 2.x.x 版本

二. 創建Hadoop用戶

在虛擬機創建安裝完成后。

1.進入用戶，打開終端輸入如下命令：

sudo useradd -m hadoop -s /bin/bash

則創建好了可以登陸的Hadoop用戶

/bin/bash 作為 shell

2.設置密碼

在終端輸入

sudo passwd hadoop     #需輸入兩次密碼
sudo adduser hadoop sudo #給Hadoop添加管理員權限

完成

三. 進行Hadoop內部環境的搭建

更新apt

打開終端輸入

sudo apt-get update  #更新apt
sudo apt-get install vim  #下載vim  用于修改配置文件

四. 安裝ssh并配置無密碼登陸

1.登陸

sudo apt-get install openssh-serve   #下載
ssh localhost  #登陸    首次登陸輸入yes并輸入密碼登陸完成

2.設置無密碼登陸

exit  #退出登陸
ssh-keygen -t rsa   #出現提示后按回車
cat ./id_rsa.pub >> ./authorized_keys  #加入授權
ssh localhost    #再次登陸ssh   不需要密碼

若出現需要密碼登陸但錯誤，需要將ssh刪除，重新下載安裝進行配置

rm -rf ~/.ssh   #刪除ssh

五.安裝Java環境

先尋找Java下載的鏡像網站

如華為，清華等

再輸入相應的代碼進行下載

wget https://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64.tar.gz

之后輸入以下指令進行解壓

cd /usr/lib
sudo mkdir jvm #創建/uer/lib/jvm 目錄存放JDK文件
cd 
sudo tar -zxvf ./jdk-8u171-linux-x64.tar.gz -C /usr/lib/jvm   #解壓到/usr/lib/jvm目錄中
cd ~
vim ~/.bashrc   #環境變量配置文件

添加以下內容到第一行

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

退出后使命令立即生效

source ~/bashrc  
java -version #查看是否安裝成功

六.安裝Hadoop

和安裝Java類似，搜索鏡像并下載

下載完成后將Hadoop安裝至/usr/lib中

sudo tar -zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local    # 解壓到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 將文件夾名改為hadoop
sudo chown -R hadoop ./hadoop       # 修改文件權限

cd /usr/local/hadoop
./bin/hadoop version   #檢查版本信息

七.Hadoop偽分布配置

1.配置文件

cd /usr/loca/hadoop/etc/hadoop/
gedit ./etc/hadoop/core-site.xml   #修改core-site.xml的配置

將其中的

<configuration>
</configuration>

改為

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同理將hdfs-site.xml中的改為

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置完成后,執行NameNode的格式化：

cd /usr/local/hadoop
./bin/hdfs namenode -format

成功的話，會看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若為 “Exitting with status 1” 則是出錯。

2.開啟NameNode 和 DataNode 守護進程

cd /usr/local/hadoop
./sbin/start-dfs.sh  #start-dfs.sh是個完整的可執行文件，中間沒有空格

若出現ssh提示，輸入yes 出現WARN提示可以忽略啟動 Hadoop 時提示 Could not resolve hostname ，輸入

vim ~/.bashrc

添加環境變量

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

完成后執行

soure ~/.bashrc #使變量生效
./sbin.start-dfs.sh   #啟動Hadoop
jps  #查看是否啟動成功，若有NameNode ,DataNode,SecondaryNameNode則成功啟動

若DataNode無法啟動

cd /usr/local/hadoop
./sbin/stop-dfs.sh   # 關閉
rm -r ./tmp     # 刪除 tmp 文件，注意這會刪除 HDFS 中原有的所有數據，慎用
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重啟

成功啟動后，可以訪問 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件。

八.Hadoop集群搭建

按圖調整網絡設置

ping 通則說明成功

到此，關于“Hadoop安裝和環境搭建方法”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！