ubuntu怎么搭建hadoop環境

本篇內容介紹了“ubuntu怎么搭建hadoop環境”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

1 參考博文

http://blog.sina.com.cn/s/blog_75f4e17c0101h6x4.html
http://www.cnblogs.com/end/archive/2012/08/13/2636645.html

2 安裝準備

1.     Ubuntu 14.04

2.     JDK 版本 1.8.0_25

3.     Hadoop 版本 Hadoop-2.6.0

3 安裝步驟

3.1 Linux 安裝

  因為設備數量有限，所以在本地使用的是VMware Workstation虛擬機搭建的一個Ubuntu 32位桌面版本。網上資料很多就不多做詳述，需要花費些時間。

3.2 JDK安裝

3.2.1 JDK下載

  本地選擇的是 JDK  1.8.0_25下在地址為：http://www.oracle.com/technetwork/java/javase/downloads/index.html

3.2.2 JDK安裝

  下載好后放入指定位置（如/usr/java），使用如下命令安裝

（參考：http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html）

3.2.3 JDK配置

  1.進入/etc目錄

  2.將JDK配置信息加入profile文件

# The following configuration is for Java
export JAVA_HOME=/usr/java/jdk1.8.0_25
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib

  3.使用下面組合命令使配置生效

  4.使用下面，驗證JDK安裝

  如果安裝版本信息顯示則安裝成功

3.3 Hadoop安裝

3.3.1 Hadoop下載

   地址為：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 

3.3.2 Hadoop安裝

   將下載下來的Hadoop放入指定目錄（/usr/hadoop）,使用如下命令安裝

3.3.3 Hadoop配置

   1.linux profile（路徑：/etc）配置，如下圖

# The following configuration is for hadoop
export HADOOP_INSTALL=/usr/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_INSTALL/bin

  2.hadoop-env.sh（路徑：$HADOOP_HOME/etc/hadoop）中把JAVA_HOME指向JDK安裝根目錄，如下

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_25

  3.yarn-env.sh（路徑：$HADOOP_HOME/etc/hadoop）中把JAVA_HOME指向JDK安裝根目錄，如下

# some Java parameters export
JAVA_HOME=/usr/java/jdk1.8.0_25

  4.打開conf/core-site.xml（路徑：$HADOOP_HOME/etc/hadoop）文件，編輯如下：

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  
<!-- Put site-specific property overrides in this file. -->  
  
<configuration>  
<property>    
  <name>fs.default.name</name>    
  <value>hdfs://localhost:9000</value>     
 </property>    
</configuration>

  5.打開conf/mapred-site.xml（路徑：$HADOOP_HOME/etc/hadoop）文件，編輯如下：

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  
<!-- Put site-specific property overrides in this file. -->  
  
    <configuration>    
     <property>     
      <name>mapred.job.tracker</name>    
      <value>localhost:9001</value>     
     </property>    
    </configuration>

  6.打開conf/hdfs-site.xml（路徑：$HADOOP_HOME/etc/hadoop）文件，編輯如下：

<configuration>  
<property>  
<name>dfs.name.dir</name>  
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>  
</property>  
<property>  
<name>dfs.data.dir</name>  
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>  
</property>  
<property>  
<name>dfs.replication</name>  
<value>2</value>  
</property>  
</configuration>

4 Hadoop啟動

新版本啟動命令Apache推薦使用下面兩個命令

先進入$HADOOP_HOME/sbin下

1 ./start-dfs.sh

2 ./start-yarn.sh

另 ./start-all.sh依然可以使用，只是會提示“不推薦使用”，他內部分自動導向上面兩個shell腳本

啟動后如輸入jps可以看下圖信息，可以發現和1.x版本的區別，沒有了JobTracker和TaskTracker，由ResourceManager和NodeManager代替。而且你在sbin下可以看到多出了yarn的腳本！

若執行jps后存在如下五個服務，說明hadoop單機環境配置成功。

5 測試安裝

Hadoop自帶服務測試

5.1 驗證1

啟動完后，可用jps查看，可看到兩個服務己經啟動

   啟動WebAppProxyServer服務，在命令行輸入如下命令：

   啟動JobHistoryServer服務，在命令行輸入如下命令：

5.2 驗證2

啟動完后可以使用下面三個連接進行查看

a.http://host:50070/dfshealth.jsp 打開NameNode web界面

b.http://host:19888/jobhistory 打開JobHistory web界面

c.http://host:8088/cluster 打開cluster web界面

5.3 驗證3

啟動Hadoop自帶的map reduce程序

進入 $ HADOOP_HOME/share/hadoop/mapreduce輸入下面命令

如果正常運行結束則OK

“ubuntu怎么搭建hadoop環境”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！