如何以本地和偽分布式模式安裝Hadoop

這篇文章主要為大家展示了“如何以本地和偽分布式模式安裝Hadoop”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“如何以本地和偽分布式模式安裝Hadoop”這篇文章吧。

一、預備知識

a) 支持平臺

l GNU/Linux的開發平臺和生產平臺都支持。

l Windows也支持（不推薦，這篇文章也不講）。

b) 必須的軟件

i. hadoop是java開發的，所以必須安裝java環境。

ii. 需要啟動sshd服務，hadoop要通過ssh管理遠程守護進程。

c) 安裝軟件

如果你的集群沒有安裝上面所說的軟件，你首先需要安裝它們。

i. 安裝java。

ii. 安裝ssh。

二、下載

  下載hadoop2.4版本。

三、準備啟動hadoop

解壓下載的hadoop壓縮包。編輯文件etc/hadoop/hadoop-env.sh。添加或定義下面兩個參數：

#設置java安裝目錄
export JAVA_HOME=/usr/java/jdk_***
#設置你的hadoop安裝目錄
export HADOOP_PREFIX=/usr/local/hadoop

使用下面的命令進行驗證：

bin/hadoop

如果設置成功會顯示hadoop命令的使用文檔。

現在你能夠使用下面三種方式安裝你的hadoop集群了。

l 本地模式

l 偽分布模式

l 分布模式

四、本地模式

Hadoop默認配置就是本地模式，在一個java進程中允許hadoop。這中模式常用來進行調試。

用下面的方式進行驗證一下：

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'

如果output中有結果就對了。

cat output/*

五、偽分布模式

Hadoop也可以在一個單節點上一以偽分布的方式運行。Hadoop的每個守護進程分別以不同的java進程運行。

a) 配置

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

b) Ssh免密碼登錄

l Ssh免密碼登錄

c) 啟動

下面的例子是在本地運行mapreduce程序，如果你想在yarn上運行mapreduce，請看yarn單節點安裝。

i. 格式化文件系統。

bin/hdfs namenode -format

ii. 啟動namenode守護進程和datanode守護進程：

sbin/start-dfs.sh

Hadoop守護進程日志輸出目錄通過$HADOOP_LOG_DIR指定（默認為$HADOOP_HOME/logs）

iii. 通過瀏覽器瀏覽namenode：

http://localhost:50070/

iv. 在hdfs上創建文件夾,用來執行mapreduce程序。

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/<username>

v. 復制文件到hdfs上：

bin/hdfs dfs -put etc/hadoop input

vi. 運行示例程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'

vii. 檢查輸出文件

bin/hdfs dfs -cat output/*

viii. 關閉hdfs守護進程。

sbin/stop-dfs.sh

六、Yarn單點安裝

通過設置一些參數，并運行ResourceManagers守護進程和NodeManager守護進程。我們也可以在yarn上以偽分布模式運行mapreducer任務。

a) 配置

etc/hadoop/mapred-side.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

     etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

b) 啟動ResourceManager守護進程和NodeManager 守護進程。

sbin/start-yarn.sh

c) 通過瀏覽器查看ResourceManager：

http://localhost:8088/

d) 運行mapreduce任務。

e) 運行完任務的時候，關閉守護進程

sbin/stop-yarn.sh

以上是“如何以本地和偽分布式模式安裝Hadoop”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！