hadoop相關進程介紹

1.NameNode:

    相當于一個領導者，負責調度 ，比如你需要存一個1280m的文件

    如果按照128m分塊 那么namenode就會把這10個塊（這里不考慮副本）

    分配到集群中的datanode上并記錄對于關系 。當你要下載這個文件的時    候namenode就知道在那些節點上給你取這些數據了。它主要維護兩個    map 一個是文件到塊的對應關系 一個是塊到節點的對應關系。

2. secondarynamenode：

    它是namenode的一個快照，會根據configuration中設置的值來

    決定多少時間周期性的去cp一下namenode，記錄namenode中

    的metadata及其它數據    

3. NodeManager（NM）:

    是YARN中每個節點上的代理，它管理Hadoop集群中單個計算節點

    包括與ResourceManger保持通信，監督Container的生命周期管理，

    監控每個Container的資源使用（內存、CPU等）情況，追蹤節點健

    康狀況，管理日志和不同應用程序用到的附屬服務（auxiliary service）

4.DataNode:

      a.DataNode的需要完成的首要任務是K-V存儲

      b.完成和namenode 通信 ，這個通過IPC 心跳連接實現。

         此外還有和客戶端 其它datanode之前的信息交換

      c.完成和客戶端還有其它節點的大規模通信，這個需要直接

         通過socket 協議實現。

5.ResourceManager:

    在YARN中，ResourceManager負責集群中所有資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源匯報信息，并把這些信息按照一定的策略分配給各個應用程序（實際上是ApplicationManager）

RM與每個節點的NodeManagers (NMs)和每個應用的ApplicationMasters (AMs)一起工作。

    a.NodeManagers 遵循來自ResourceManager的指令來管理單一節點上的可用資源。

    b.ApplicationMasters負責與ResourceManager協商資源與NodeManagers合作啟動容器

6.Hadoop2 MR-JobHistory服務介紹

1）MR-JobHistory服務目標

主要是向用戶提供歷史的mapred Job 查詢

詳細解釋：

a）在運行MR Job時，MR 的 ApplicationMaster會根據mapred-site.xml配置文件中的配置，將MR Job的job history信息保存到指定的hdfs路徑（首先保存到臨時目錄，然后mv到最終目錄）

b）如果在yarn-site.xml中，沒有配置nodemanage的LogAggregation功能，則historyserver無法提供mr日志明細查詢的功能（在提交mr job時，yarn和mapred的配置都是必須的）

c）historyserver向外提供兩個接口，web接口可以提供jobhistory和明細日志查詢的功能，而restApi只提供jobhistory查詢的功能