亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

發布時間:2021-11-23 16:21:18 來源:億速云 閱讀:157 作者:柒染 欄目:大數據

這篇文章將為大家詳細講解有關Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么,文章內容質量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。

我們都知道namenode是用來存儲元數據的,他并不是用來存儲真正的數據。

那么他的元數據怎么進行持久化呢!

FsImage

文件系統的鏡像文件叫fsImage,它包括了文件和塊信息的映射,還有文件系統的屬性信息。

datanode啟動的過程中 首先會向namenode注冊塊信息,這些塊信息就是存儲在namenode的FsImage中的。

EditLog

對于文件系統的每一次更改,例如,增加文件,刪除文件等操作都會被寫入Edit Log 這個問題件中。

同樣的,修改文件系統的副本因子配置,也會被寫入Edit Log文件。

EditLog 文件和fsImage文件都存儲在文件系統的本地路徑中。

namenode在內存中存儲了,整個文件系統的鏡像和文件塊映射信息。

元數據是可以被合并的,因此namenode有4GB的內存,就足以存儲巨量的文件和目錄。

namenode啟動過程中發生了什么呢?

1、從硬盤讀取FsImage 和EditLog文件。

2、將EditLog文件中的所有操作信息寫入FsImage中。產生一個新的FsImage文件- - - -這一操作被稱為checkpoint

3、產生一個新的空的EditLog文件

namenode啟動的時候checkponit

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

namenode運行過程中和fsImage 與 EditLog的交互操作

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

SecondaryNamenode
很多人理解的SecondaryNamenode的作用就是對namenode的備份,當namenode宕機了, 可以快速用secondarynamenode 恢復回來。
其實 SecondaryNamenode的重要作用,是定期合并FsImage和EditLog文件。

考慮一個場景。當我們的namenode宕機了。我們需要讀取EditLog文件合并fsImage文件做恢復。如果這個EditLog文件,非常非常大,那么可能僅僅是讀EditLog文件,就需要很長很長時間,以至于我們的故障恢復效果很差。
所以SecondaryNameNode,定期合并FsImage和EditLog文件,并替換namenode上的舊的FsImage文件,生成新的EditLog文件,替換原來的舊的EditLog文件。這樣可以保證SecondaryNameNode上的文件為最近的信息。當發生宕機時候,可以快速恢復。
Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

關于Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

桦川县| 淮滨县| 鸡泽县| 松溪县| 沈丘县| 呼玛县| 麻阳| 甘洛县| 黔江区| 桂东县| 泊头市| 比如县| 英德市| 和顺县| 奉节县| 兴安盟| 舞阳县| 西和县| 瑞昌市| 重庆市| 喀喇沁旗| 南丰县| 陆良县| 辽中县| 南平市| 太康县| 峡江县| 利津县| 呼伦贝尔市| 报价| 牙克石市| 松桃| 吉木萨尔县| 宁武县| 琼中| 河南省| 宣化县| 留坝县| 永德县| 灌南县| 洱源县|