Hadoop單節點環境配置

1、配置環境

1.1、軟件包

sun jdk  或 openjdk： 1.7 

1.2、安裝必須軟件包：

# yum install ssh rsync

# rpm -ivh jdk-7u79-linux-x64.rpm

1.3、配置java環境

# vim /etc/profile

export JAVA_HOME=/usr/java/latest
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

# vim hadoop_home/etc/hadoop/hadoop_env.sh

export JAVA_HOME=/usr/java/latest

或者

export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64

2、單節點配置文件配置

# vim hadoop_home/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

# vim hadoop_home/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3、設置ssh免密登陸

# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# chmod 0600 ~/.ssh/authorized_keys

4、測試環境

4.1、格式化文件系統

# hadoop_home/bin/hdfs namenode -format

4.2、開啟NameNode和DataNode服務

# hadoop_home/sbin/start-dfs.sh

4.3、瀏覽NameNode的web接口

http://localhost:50070/

4.4、MapReduce工作執行的目錄

# hadoop_home/bin/hdfs dfs -mkdir /user

# hadoop_home/bin/hdfs dfs -mkdir /user/<username>  這里的<username>為你執行MapReduce的系統用戶

4.5、拷貝input文件倒目標文件系統

# hadoop_home/bin/hdfs dfs -put etc/hadoop input

4.6、運行系統提供的默認demo

# hadoop_home/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'

4.7、將目標系統的output文件拷貝到本地

# hadoop_home/bin/hdfs dfs -get output output

4.8、查看執行結果

# cat hadoop_home/output/*

4.9、查看目標文件系統output結果

# hadoop_home/bin/hdfs dfs -cat output/*

至此，單節點hadoop環境就已經配置并測試通過了。