hadoop如何實現偽分布安裝

這篇文章給大家分享的是有關hadoop如何實現偽分布安裝的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

1.hadoop的偽分布安裝

1.1 設置ip地址

    執行命令 service network restart

    驗證: ifconfig

1.2 關閉防火墻

    執行命令 service iptables stop

    驗證: service iptables status

1.3 關閉防火墻的自動運行

    執行命令 chkconfig iptables off

    驗證: chkconfig --list | grep iptables

1.4 設置主機名

    執行命令

        (1)hostname hadoop

        (2)vi /etc/sysconfig/network

1.5 ip與hostname綁定

    執行命令 vi /etc/hosts

    驗證: ping hadoop

1.6 設置ssh免密碼登陸

    執行命令 

        (1)ssh-keygen -t rsa

        (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

    驗證： ssh hadoop

1.7 安裝jdk

    執行命令

        (1)cd /usr/local

        (2)chmod u+x jdk-6u24-linux-i586.bin                

        (3)./jdk-6u24-linux-i586.bin                

        (4)mv jdk-1.6.0_24  jdk                

        (5)vi /etc/profile 增加內容如下:                

            export JAVA_HOME=/usr/local/jdk

            export PATH=.:$JAVA_HOME/bin:$PATH                

        (6)source /etc/profile                

    驗證: java -version

1.8 安裝hadoop

    執行命令

        (1)tar -zxvf hadoop-1.1.2.tar.gz

        (2)mv hadoop-1.1.2 hadoop

        (3)vi /etc/profile 增加內容如下:

            export JAVA_HOME=/usr/local/jdk

            export HADOOP_HOME=/usr/local/hadoop

           export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

     (4)source /etc/profile

     (5)修改conf目錄下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

            1.hadoop-env.sh  export JAVA_HOME=/usr/local/jdk/

            2.core-site.xml 

    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://hadoop:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>
    </configuration>

            3.hdfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
             <name>dfs.permissions</name>
             <value>false</value>
        </property>
    </configuration>

        4.mapred-site.xml

    <configuration>    
        <property>
            <name>mapred.job.tracker</name>
            <value>hadoop:9001</value>
        </property>
    </configuration>

    (6)hadoop namenode -format

    (7)start-all.sh

        驗證:

            (1)執行命令jps 如果看到5個新的java進程，分別是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker

            (2)在瀏覽器查看，http://hadoop:50070  http://hadoop:50030  

1.9 啟動時沒有NameNode的可能原因:

     (1)沒有格式化

     (2)環境變量設置錯誤

     (3)ip與hostname綁定失敗

感謝各位的閱讀！關于“hadoop如何實現偽分布安裝”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！