您好,登錄后才能下訂單哦!
這篇文章主要介紹HDFS架構如何設計,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
HDFS架構設計:
1.NN(NameNode):主要是維護管理文件命名空間,其中包括了文件名稱,文件的權限,創建時間,副本數,文件被分成多少塊,快分布在哪些機器(產生文件fsimage和editlog)。
2.理解NN管理下NN和塊以及實際存儲內容的存儲關系。
實例:假設NN為一個容量為128000ML的正方形盒子,每個塊為同樣大小正正方方的容量為128ML的盒子,但是每個盒子里只有3ml的水(每個塊中存儲文件的實際大小)。
則問實際存儲的內容是多少ml?3*(128000/128)=3000ml這里是由DN管理存儲的。
放進去的盒子是多少個?1000個(其實就是存儲的塊的數量)
總的來說盡管實際存儲只有3000ml,但是卻消耗了1000個瓶子的名字的字節總和的NN的空間,但是如果把1000個瓶子壓縮成500或者更少(小文件合并),則可以消耗更少量的NN管理空間。
3.DN(DataNode):存儲數據塊,存儲數據塊校驗和。
4.SN(SecondaryNode):做每小時的檢查工作checkpoint。(檢查NN的工作即產生文件fsimage和editlog并進行打包制作成新的fsimage文件保存下來)
圖理解:
以上是“HDFS架構如何設計”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。