Apache Hadoop 入門教程第四章

運行在單節點的 YARN

您可以通過設置幾個參數，另外運行 ResourceManager 的守護進程和 NodeManager 守護進程以偽分布式模式在 YARN 上運行 MapReduce job。

以下是運行步驟。

（1）配置

etc/hadoop/mapred-site.xml:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
1
2
3
4
5
6
etc/hadoop/yarn-site.xml:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
1
2
3
4
5
6
（2）啟動 ResourceManager 守護進程和 NodeManager 守護進程

$ sbin/start-yarn.sh
1
（3）瀏覽 ResourceManager 的網絡接口，它們的地址默認為：

ResourceManager - http://localhost:8088/
1
（4）運行 MapReduce job

（5）完成全部操作后，停止守護進程：

$ sbin/stop-yarn.sh
1

6. 完全分布式模式的操作方法

關于搭建完全分布式模式的，請參閱下文《Apache Hadoop 集群上的安裝配置》小節內容。

Apache Hadoop 集群上的安裝配置

本節將描述如何安裝、配置和管理 Hadoop 集群，其規模可從幾個節點的小集群到幾千個節點的超大集群。

1. 先決條件

確保在你集群中的每個節點上都安裝了所有必需軟件，安裝 Hadoop 集群通常要將安裝軟件解壓到集群內的所有機器上，參考上節內容《Apache Hadoop 單節點上的安裝配置》。

通常情況下，集群中的一臺機器被指定為 NameNode 和另一臺機器作為 ResourceManager。這些都是 master。其他服務（例如，Web 應用程序代理服務器和 MapReduce Job History 服務器）是在專用的硬件還是共享基礎設施上運行，這取決于負載。

在群集里剩余的機器充當 DataNode 和 NodeManager。這些都是 slave。‘’

很多人都知道我有大數據培訓資料，都天真的以為我有全套的大數據開發、hadoop、spark等視頻學習資料。我想說你們是對的，我的確有大數據開發、hadoop、spark的全套視頻資料。
如果你對大數據開發感興趣可以加口群領取免費學習資料： 763835121