hadoop偽分布式如何搭建

這篇文章將為大家詳細講解有關hadoop偽分布式如何搭建，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

首先需要配置JDK，大家可以從網上找到許多教程。

個人感覺是，在Linux下配置環境，最重要的是掌握shell的一些命令及其格式，不然可能遇到各種命令格式上的錯誤，耽誤大量的時間。

1 下載的 jdk 1.7 ,存放到 “ /home/sr/setup/java-jdk-1.8/”目錄。下載的文件是 ” jdk-8u65-linux-x64.tar.gz”,java jdk 的版本常常有更新,次版本號有可能 更高一點。

2 "sudo su -"       ps：這里我用的是“sudo -i”
切換到 root 用戶,參考 ” man sudo”。這個命令會切換到 root 用戶,也就是最高權限的用戶。因為后面要執行的
jdk 安裝操作是在/usr/local 目錄下進行的,用 root 用戶更方便。

3 "cd /usr/local/lib"

4 "tar -zxvf /home/sr/setup/java-jdk-1.8/jdk-8u65-linux-x64.tar.gz"  ps: sr是作者的用戶名，請改成自己的！
tar 是 linux 下的打包和解壓命令行工具,具體細節可以參考 ” man tar” 。這個命令將 jdk-8u65-linux-x64.tar.gz 壓縮包解壓到當前目錄下。解壓縮完畢之后,執行"ls",能看到當前目錄下有一個新目錄叫"jdk 1.8.0_65"

5 配置環境變量:4.5.1 “gedit /etc/profile”
gedit 是 linux 下類似 Windoes 的記事本的編輯器,文件/etc/profile 是 linux 下的配置文件。本命令會打開這個
配置文件,以備編輯。

6 添加配置
在/etc/profile 文件末尾加上如下的三行代碼:  ps：注意更改自己的JDK版本
export JAVA_HOME=/usr/local/lib/jdk1.8.0_65  
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

7  "source /etc/profile"使配置立即生效

8 "java -version"
這條命令檢查 jdk 安裝是否成功。

其次，下載hadoop2.7.1放到” /home/sr/setup/hadoop”目錄

hadoop stable版下載鏈接：

http://mirror.esocc.com/apache/hadoop/common/stable/

1 "su sr"
su 命令,切換用戶。安裝 jdk 用的是 root 用戶。現在切回 sr 用戶。

2 "mkdir -p ~/usr/hadoop"創建 Hadoop 的安裝目錄

3 "cd ~/usr/hadoop"

4 "tar -xvzf ~/setup/hadoop/hadoop-2.7.1.tar.gz"解壓縮完畢后,就有目錄~/usr/hadoop/hadoop-2.7.1,這是 hadoop 的主目錄

5 配置偽分布式 hadoop：

配置文件在~/usr/hadoop/hadoop-2.7.1/etc/hadoop目錄下
 將 core-site.xml 文件內容修改成如下:  ps：注意是在<configuration>  </configuration>中間添加
<configuration>
<property><name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
將 mapred-site.xml 文件內容修改如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
 將 hdfs-site.xml 文件內容修改如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

在 hadoop-env.sh 文件里添加如下一條語句:
export JAVA_HOME=/usr/local/lib/jdk 1.8.0_65

6 "sudo apt-get install ssh rsync"這條命令安裝 ssh 和 rsync。 ssh 是一個很著名的安全外殼協議 Secure Shell Protocol。 rsync 是文件同步命令行工具。

7 "ssh-keygen -t dsa -f ~/.ssh/id_dsa"執行這條命令生成 ssh 的公鑰/私鑰,執行過程中,會一些提示讓輸入字符,直接一路回車就可以。

8 "cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys"ssh 進行遠程登錄的時候需要輸入密碼,如果用公鑰/私鑰方式,就不需要輸入密碼了。上述方式就是設置公鑰/私鑰登錄。

9 “ssh localhost”第一次執行本命令,會出現一個提示,輸入 ” yes”然后回車即可。

10 "cd ~/usr/hadoop/hadoop-2.7.1"

11 "./bin/hadoop namenode -format"格式化 NameNode。

12 "./sbin/start-all.sh"啟動所有節點,包括 NameNode, SecondaryNameNode, JobTracker, TaskTracker, DataNode。

13 “jps”檢查各進程是否運行,這時,應該看到有 6 個 java 虛擬機的進程,分別是 Jps, NameNode, SecondaryNameNode,DataNode, JobTracker, TaskTracker,看到 6 個是對的,表明啟動成功。如果提示 ” jps”沒安裝或者找不到,執行一次 ” source /etc/profile”即可。

最后，一起來運行wordcount：

1  "cd ~/usr/hadoop/hadoop-2.7.1"

2 “bin/hadoop fs -mkdir /input”HDFS下創建input文件夾

3 “bin/hadoop fs -put LICENSE.txt  /input”將LICENSE.txt放入文件夾

4“bin/hadoop fs -ls /input”顯示input中內容

5“bin/hadoop fs -cat /input/LICENSE.txt”查看文件內容

6“bin/hadoop jar /home/sr/usr/hadoop/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output”運行并輸出 PS：請注意絕對路徑！

關于“hadoop偽分布式如何搭建”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。