CentOS7下怎么部署Hadoop2.X

本篇內容主要講解“CentOS7下怎么部署Hadoop2.X”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“CentOS7下怎么部署Hadoop2.X”吧!

一、部署JAVA--(使用root用戶)
  1、上傳Oracle公司的Java組件--jdk1.8.0_151
    A）、cd /uar/java
    B）、執行rz -be->選擇本地JDK組件->添加文件->確定上傳
  2、解決安裝包-->tar -zxvf jdk-8u151-linux-x64.tar.gz
  3、給解壓文件夾賦權：chmod 775 jdk1.8.0_151
  4、設置環境變量：
         vi /etc/profile
            export JAVA_HOME=/usr/java/jdk1.8.0_151
            export PATH=$JAVA_HOME/bin:$PATH
  5、生效環境變量：source /etc/profile
  6、驗證命令：java -version和which java

二、部署ssh服務是否運行(使用root用戶)
  service sshd status
  提示：openssh-daemon (pid  5124) is running...
  注：如未安裝使用yum install -y ssh

三、修改hosts文件(使用root用戶)
  vi /etc/hosts
    192.168.40.130  hadoop001
  cat /etc/hosts

四、配置ssh對等性(使用hadoop用戶)
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 0600 ~/.ssh/authorized_keys

  測試：ssh hadoop1 date(第一次需要輸入yes，之后需要輸入即可顯示遠程時間)

五、部署Hadoop--偽分布模式
  1、使用root用戶在/opt中創建software、sourcecode目錄，并賦權權限
     cd /opt
     mkdir software sourcecode
     chown hadoop:hadoop software sourcecode
  2、上傳hadoop-2.8.1.tar.gz(使用hadoop用戶)
    A）、cd /opt/software
    B）、執行rz -be->選擇本地hadoop-2.8.1.tar.gz文件->添加文件->確定上傳
  3、解決安裝包-->tar -zxvf hadoop-2.8.1.tar.gz(使用hadoop用戶)
  4、配置環境變更(使用hadoop用戶)
     vi ~/.bash_profile
       export HADOOP_HOME=/opt/software/hadoop-2.8.1
       export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
     環境變量生效：source ~/.bash_profile
     驗證環境變更：echo $HADDOP_HOME，輸出為：/opt/software/hadoop-2.8.1則為正常
                   which hadoop，輸出為：/opt/software/hadoop-2.8.1/bin/hadoop則為正常
  5、配置hadoop偽分布模式參數：
     A)、進入hadoop安裝目錄：cd $HADOOP_HOME/etc/hadoop
     B)、修改hadoop-env.sh文件，并文件中export JAVA_HOME=${JAVA_HOME}修改為：export JAVA_HOME=/usr/java/jdk1.8.0_151
         vi hadoop-env.sh
           export JAVA_HOME=${JAVA_HOME}  --->  export JAVA_HOME=/usr/java/jdk1.8.0_151
         退出保存(:wq)
     C)、修改core-site.xml文件，在與中新增如下內容：
         vi core-site.xml
             
               fs.defaultFS
               hdfs://192.168.40.130:9000
             

             
               hadoop.tmp.dir
               /opt/software/hadoop-2.8.1/tmp
             
         退出保存(:wq)
     D)、修改hdfs-site.xml文件，在與中新增如下內容：
         vi hdfs-site.xml
             
               dfs.replication
               1
             

           
             dfs.namenode.secondary.http-address
             192.168.40.130:50090
           

         
            dfs.namenode.secondary.https-address
            192.168.40.130:50091
         
         退出保存(:wq)
     E)、修改slaves文件，將localhost修改為192.168.40.130：
         vi slaves
            192.168.40.130
         退出保存(:wq)
     F)、修改yarn-site.xml文件，在與中新增如下內容：
         vi yarn-site.xml
          
            yarn.nodemanager.aux-services
            mapreduce_shuffle
         
         退出保存(:wq)
     G)、修改mapred-site.xml文件，在與中新增如下內容：
        cp mapred-site.xml.template mapred-site.xml
         vi mapred-site.xml
           
              mapreduce.framework.name
              yarn
           
         退出保存(:wq)
  6、在hadoop文件夾中創建tmp目錄
     cd /opt/software/hadoop-2.8.1
     mkdir tmp

  7、格式化HDFS：hdfs namenode -format
     提示：
17/12/15 09:56:24 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1926188112-192.168.40.130-1513302984957
17/12/15 09:56:25 INFO common.Storage: Storage directory /opt/software/hadoop-2.8.1/tmp/dfs/name has been successfully formatted.
17/12/15 09:56:25 INFO namenode.FSImageFormatProtobuf: Saving image file /opt/software/hadoop-2.8.1/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
17/12/15 09:56:25 INFO namenode.FSImageFormatProtobuf: Image file /opt/software/hadoop-2.8.1/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 323 bytes saved in 0 seconds.
17/12/15 09:56:25 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/12/15 09:56:25 INFO util.ExitUtil: Exiting with status 0
17/12/15 09:56:25 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at spark220/192.168.40.130
************************************************************/
   8、啟動HDFS服務：start-dfs.sh
   
   9、啟動Yarn服務：start-yarn.sh

       注：如需同時啟動，則執行strat-all.sh

    10、驗證：
      A)、輸入：jps，返回如下信息：
         3536 NodeManager
         3234 SecondaryNameNode
        3046 DataNode
        2938 NameNode
        3422 ResourceManager

  B)、上傳文件測試：
      hdfs dfs -mkdir /input            ==>創建目錄input
      hdfs dfs -ls /input               ==>查看目錄
      hdfs dfs -put slaves /input       ==>上傳文件到input目錄
      hdfs dfs -ls /input               ==>查看目錄(-rw-r--r--   1 hadoop supergroup         15 2017-12-15 10:07 /input/slaves)


注：
   停止HDFS、YARN命令：
   sbin/stop-yarn.sh
   sbin/stop-hdfs.sh
   或者：sbin/stop-all.sh
---------------------完---------------------------

到此，相信大家對“CentOS7下怎么部署Hadoop2.X”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！