ubuntu12.04下hadoop單機模式和偽分布模式的環境搭建

這篇文章主要介紹“ubuntu12.04下hadoop單機模式和偽分布模式的環境搭建”，在日常操作中，相信很多人在ubuntu12.04下hadoop單機模式和偽分布模式的環境搭建問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”ubuntu12.04下hadoop單機模式和偽分布模式的環境搭建”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

1.添加hadoop組(專門用來進行hadoop測試)到系統用戶：

<!-- lang: java -->
  sudo addgroup hadoop

2.在hadoop中添加hadoop用戶：

<!-- lang: java -->
sudo adduser --ingroup hadoop hadoop

3.賦予hadoop管理員權限

<!-- lang: java -->
sudo usermod -aG sudo hadoop

( 如果不想新建用戶，只在自己現有用戶下搭建，上面三步可以省去直接進入第四步) 4切換用戶！！ 5.安裝ssh遠程登錄協議：

<!-- lang: java -->
sudo apt-get install openssh-server

6.啟動ssh

<!-- lang: java -->
sudo /etc/init.d/ssh start

7.免密碼登錄，并生成公鑰與私鑰：

<!-- lang: java -->
ssh-keygen -t rsa -P ""

第一次操作時會提示輸入密碼，按Enter直接過，這時會在～/home/hadoop/.ssh下生成兩個文件：id_rsa和id_rsa.pub，前者為私鑰，后者為公鑰. 8.現在我們將公鑰追加到authorized_keys中（authorized_keys用于保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容）

<!-- lang: java -->
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

9登錄ssh

<!-- lang: java -->
 ssh localhost

10退出

<!-- lang: java -->
exit

11再登錄退出一次，之后登錄就不用輸入密碼了。 12安裝java 13安裝hadoop，hadoop官網下載這里選擇的是hadoop-1.2.1.tar.gz ，解壓并放到你想放的地方

<!-- lang: java -->
 sudo mv /Downloads/hadoop-1.2.1.tar.gz /usr/local/hadoop

14確保所有操作均在hadoop用戶下

<!-- lang: java -->
 sudo chown -R hadoop:hadoop /usr/local/hadoop

15配置hadoop-env.sh,所在目錄：/usr/local/hadoop/conf,添加如下代碼

<!-- lang: cpp -->
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386 (視你機器的java安裝路徑而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
export HADOOP_HOME_WARN_SUPPRESS="TRUE"

16讓環境變量配置生效

<!-- lang: java -->
source /usr/local/hadoop/conf/hadoop-env.sh

17單機配置成功：

<!-- lang: java -->
hadoop version

偽分布模式繼續： 18配置conf目錄下三個文件：core-site.xml,hdfs-site.xml,mapred-site.xml core-site.xml：

<!-- lang: java -->
<configuration>  
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/usr/local/hadoop/tmp</value>  
    </property>  
</configuration>

hdfs-site.xml:

<!-- lang: java -->
   <configuration>  
        <property>  
            <name>dfs.replication</name>  
            <value>1</value>  
        </property>  
        <property>  
            <name>dfs.name.dir</name>  
            <value>/usr/local/hadoop/hdfs/name</value>  
        </property>  
        <property>  
            <name>dfs.data.dir</name>  
            <value>/usr/local/hadoop/hdfs/data</value>  
        </property>  
    </configuration>

mapred-site.xml:

<!-- lang: java -->
<configuration>  
    <property>  
        <name>mapred.job.tracker</name>  
        <value>localhost:9001</value>  
    </property>  
</configuration>

19 在hadoop目錄下新建幾個目錄：

<!-- lang: java -->
 ~/hadoop$ mkdir tmp  
    ~/hadoop$ mkdir hdfs  
    ~/hadoop$ mkdir hdfs/name  
    ~/hadoop$ mkdir hdfs/data

20 修改data文件夾的權限：

<!-- lang: java -->
sudo chmod g-w /usr/local/hadoop/hdfs/data

21 讓配置文件生效：

<!-- lang: java -->
source /usr/local/hadoop/conf/hadoop-env.sh

22.確認hadoop沒有運行：

<!-- lang: java -->
usr/local/hadoop  bin/stop-all.sh

23 格式化namenode

<!-- lang: java -->
usr/local/hadoop bin/hadoop namenode -format

24運行

<!-- lang: java -->
/usr/local/hadoop bin/start-all.sh

25 jps 如果出現下圖表示成功

26測試程序： 在偽分布模式下運行一下hadoop自帶的例子WordCount來感受以下MapReduce過程：

這時注意程序是在文件系統dfs運行的，創建的文件也都基于文件系統：

首先在dfs中創建input目錄

<!-- lang: java -->
hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -mkdir input

將conf中的文件拷貝到dfs中的input

<!-- lang: java -->
 hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal conf/* input

在偽分布式模式下運行WordCount

<!-- lang: java -->
 hadoop@lcj:/usr/local/hadoop$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output

顯示輸出結果

<!-- lang: java -->
hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -cat output/*

當Hadoop結束時，可以通過stop-all.sh腳本來關閉Hadoop的守護進程

<!-- lang: java -->
hadoop@lcj:/usr/local/hadoop$ bin/stop-all.sh

到此，關于“ubuntu12.04下hadoop單機模式和偽分布模式的環境搭建”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！