Hadoop2.4.1偽分布式如何配置

這篇文章主要介紹了Hadoop2.4.1偽分布式如何配置，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

實驗環境：

    VMware Workstation 10.0   

    CentOS 6.5    

    Hadoop 2.4.1 

    Jdk1.7.0

一. Linux系統環境準備    

   用WindSCP等軟件，把JDK和Hadoop的安裝包上傳到CentOS虛擬機中。

   用戶設置

     如果用普通用戶進行以下操作，先把普通用戶添加到/etc/sudoers文件中，以便能執行sudo命令。

切換到root
$su -
添加普通用戶到sudoers
#vim /etc/sudoers
在文件的99行添加 hadoop ALL=(ALL) ALL
添加普通用戶hadoop

     配置IP

    虛擬機使用NAT模式。

用圖形界面或直接修改/etc/sysconfig/network-scripts/ifcfg-eth0文件
IP:192.168.18.101
MASK：255.255.255.0
ROUTE:192.168.18.1

     修改主機名

    非必須步驟，為了以后的方便，還是配置的好。

修改主機名為hadoop001，重啟生效
[root@localhost ~]# vim /etc/sysconfig/network
   NETWORKING=yes
   HOSTNAME=hadoop001
查看主機名
[root@localhost ~]# hostname

      配置主機名和IP的映射

為了測試方便，也可以再配置宿主機windows的映射 C:\Windows\System32\drivers\etc\hosts
[root@localhost ~]# vim /etc/hosts
添加： 192.168.18.101 hadoop001

     關閉防火墻

        不關閉防火墻，其他主機不能訪問http等服務。當然，如果你會，自己配置防火墻更好。

關閉防火墻
[root@localhost ~]# service iptables stop
查看防火墻狀態
[root@localhost ~]# service iptables status
iptables: Firewall is not running.
設置開機不啟動防火墻
[root@localhost ~]# chkconfig iptables off

    配置完成，重啟CentOS

#reboot

二. 安裝JDK和Hadoop

解壓JDK和Hadoop的安裝包*.tar.gz.

配置環境變量

重新編譯環境變量配置文件
#source /etc/profile
測試命令
$java -version
$hadoop

三.Hadoop配置

1. etc/hadoop/hadoop-env.sh 

修改 HADOOP_HOME/etc/hadoop/hadoop-env.sh 

把27行，${JAVA_HOME}換成jdk的絕對路徑。

可能是hadoop的shell腳本問題，這里經常獲取JAVA_HOME失敗，所以替換成jdk的絕對路徑。

2. etc/hadoop/core-site.xml

<configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://hadoop001:9000</value>
         <discription> 
            hdfs://hostname|IP：port
             文件系統的名字，默認端口號為8020(見NameNode源碼)，
        </discription>
     </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/apps/hadoop-2.4.1/tmp</value>
          <discription>
               指定name table(fsimage)在本地系統的存放位置,
               如果value是以逗號分隔的多個目錄，則會在每個目錄中保存一份，作為冗余備份。
               注意：如果最前面不加/ 就是相對HADOOP_HOME的路徑
          </discription>
     </property>
</configuration>

3. etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>
            block副本的數量(副本因子)
            在搭建偽分布式時，值為1就行，覆蓋hdfs-default.xml中配置的默認值3。
         </description>
    </property>
<configuration>

4. etc/hadoop/mapred-site.xml

 修改mapred-site.xml.template文件名為mapred-site.xml

<configuration>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
     <description>
        指定MapReduce運行在Yarn上
     </description>
</configuration>

5. etc/hadoop/yarn-site.xml

</configuration>
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>hadoop001</value>
    </property>
    	<!-- reducer獲取數據的方式 -->
    <property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
    </property>
</configuration>

四. 啟動Hadoop

SSH免密碼登錄

設置無密碼登錄NameNode等節點。因為我們是偽分布式實驗環境，所以啟動或關閉HDFS和Yarn時每次輸入密碼不方便。

測試一下，是否可以通過SSH免密碼的登錄

  $ ssh localhost

If you cannot ssh to localhost without a passphrase, execute the following commands:

  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  #然后再用ssh localhost測試一下，如果不行，就改一下秘鑰的權限。
  #chmod 600 .ssh/*

格式化HDFS

    為什么需要格式化？

    和使用新買的硬盤時，也需要格式一下一個道理，根據選擇的文件系統類型對磁盤進行配置。

    windows下選擇NTFS文件系統，這個是HDFS文件系統，只不過HDFS的是一個邏輯磁盤

hfds namenode -format  
或hadoop namenode -form  這是hadoop1.x中的命令，已經過時。

格式化成功后，Hadoop會在core-site.xml文件中配置的hadoop.tmp.dir目錄下自動創建dfs/name目錄。

格式化信息：

查看初始狀態下dfs/name下只有fsimage文件。

    啟動Hadoop服務

hadoop 1.x通過start-all.sh啟動hdfs和MapReduce
$ bin/start-all.sh
hadoop2.x
啟動hdfs服務
$start-dfs.sh
啟動yarn
$start-yarn.sh

    驗證成功啟動

  1） 用JPS查看java進程

2)Browse the web interface for the NameNode and theMapReduce

    NameNode Web UI- http://localhost:50070/

    MapReduce Web UI - http://localhost:8088/

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Hadoop2.4.1偽分布式如何配置”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!