亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop五個進程的作用和聯系

發布時間:2020-07-30 01:21:09 來源:網絡 閱讀:1481 作者:DBAspace 欄目:大數據

Hadoop五個進程的作用和聯系

1.NameNode:

相當于一個領導者,負責調度 ,比如你需要存一個1280m的文件如果按照128m分塊 那么namenode就會把這10個塊(這里不考慮副本)分配到集群中的datanode上并記錄對于關系 。當你要下載這個文件的時候namenode就知道在那些節點上給你取這些數據了。它主要維護兩個map 一個是文件到塊的對應關系 一個是塊到節點的對應關系。

2. secondarynamenode:

它是namenode的一個快照,會根據configuration中設置的值來決定多少時間周期性的去cp一namenode,記錄namenode中的metadata及其它數據 

3. NodeManager(NM):

1、是YARN中每個節點上的代理,它管理Hadoop集群中單個計算節點

2、包括與ResourceManger保持通信,監督Container的生命周期管理,

3、監控每個Container的資源使用(內存、CPU等)情況,追蹤節點健

4、康狀況,管理日志和不同應用程序用到的附屬服務(auxiliary service)

4.DataNode:

a.DataNode的需要完成的首要任務是K-V存儲

b.完成和namenode 通信 ,這個通過IPC 心跳連接實現,此外還有和客戶端 其它datanode之前的信息交換。

 c.完成和客戶端還有其它節點的大規模通信,這個需要直接通過socket 協議實現。  

5.ResourceManager:

 在YARN中,ResourceManager負責集群中所有資源的統一管理和分配,它接收來自各個節點(NodeManager)的資源匯報信息,并把這些信息按照一定的策略分配給各個應用程序(實際上是ApplicationManager)RM與每個節點的NodeManagers (NMs)和每個應用的ApplicationMasters (AMs)一起工作。

    a.NodeManagers 遵循來自ResourceManager的指令來管理單一節點上的可用資源。

    b.ApplicationMasters負責與ResourceManager協商資源與NodeManagers合作啟動容器


向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

高雄县| 抚顺县| 金门县| 和政县| 彰武县| 勃利县| 禹州市| 张家界市| 界首市| 京山县| 闽清县| 瑞安市| 盐池县| 上栗县| 台湾省| 海门市| 永靖县| 固阳县| 扶沟县| 中西区| 平阴县| 六枝特区| 沽源县| 林西县| 潼关县| 星子县| 吴川市| 张掖市| 肃北| 页游| 化德县| 玉屏| 河津市| 容城县| 巴彦淖尔市| 清苑县| 同仁县| 衡阳县| 辽宁省| 郴州市| 肃南|