Hadoop基礎入門學習筆記（基本概念）

一、數據塊(blck)

HDFS(Hadp Distributed File System)默認的最基本的存儲單位是64M的數據塊。 

和普通文件系統相同的是，HDFS中的文件是被分成64M一塊的數據塊存儲的。 

不同于普通文件系統的是，HDFS中，如果一個文件小于一個數據塊的大小，并不占用整個數據塊存儲空間。

二、元數據節點(Namende)和數據節點(datande)

元數據節點用來管理文件系統的命名空間 

其將所有的文件和文件夾的元數據保存在一個文件系統樹中。 

這些信息也會在硬盤上保存成以下文件：命名空間鏡像(namespace p_w_picpath)及修改日志(edit lg) 

其還保存了一個文件包括哪些數據塊，分布在哪些數據節點上。然而這些信息并不存儲在硬盤上，而是在系統啟動的時候從數據節點收集而成的。

數據節點是文件系統中真正存儲數據的地方。 

客戶端(client)或者元數據信息(namende)可以向數據節點請求寫入或者讀出數據塊。 

其周期性的向元數據節點回報其存儲的數據塊信息。

從元數據節點(secndary namende) 

從元數據節點并不是元數據節點出現問題時候的備用節點，它和元數據節點負責不同的事情。 

其主要功能就是周期性將元數據節點的命名空間鏡像文件和修改日志合并，以防日志文件過大。這點在下面會詳細敘述。 

合并過后的命名空間鏡像文件也在從元數據節點保存了一份，以防元數據節點失敗的時候，可以恢復。

1、 元數據節點文件夾結構

VERSIN文件是java prperties文件，保存了HDFS的版本號。 

layutVersin是一個負整數，保存了HDFS的持續化在硬盤上的數據結構的格式版本號。 

namespaceID是文件系統的唯一標識符，是在文件系統初次格式化時生成的。 

cTime此處為0 

strageType表示此文件夾中保存的是元數據節點的數據結構。

namespaceID=1232737062
cTime=0
strageType=NAME_NDE
layutVersin=-18

2、文件系統命名空間映像文件及修改日志

當文件系統客戶端(client)進行寫操作時，首先把它記錄在修改日志中(edit lg) 

元數據節點在內存中保存了文件系統的元數據信息。在記錄了修改日志后，元數據節點則修改內存中的數據結構。 

每次的寫操作成功之前，修改日志都會同步(sync)到文件系統。 

fsp_w_picpath文件，也即命名空間映像文件，是內存中的元數據在硬盤上的checkpint，它是一種序列化的格式，并不能夠在硬盤上直接修改。 

同數據的機制相似，當元數據節點失敗時，則最新checkpint的元數據信息從fsp_w_picpath加載到內存中，然后逐一重新執行修改日志中的操作。 

從元數據節點就是用來幫助元數據節點將內存中的元數據信息checkpint到硬盤上的 

checkpint的過程如下： 

從元數據節點通知元數據節點生成新的日志文件，以后的日志都寫到新的日志文件中。 

從元數據節點用http get從元數據節點獲得fsp_w_picpath文件及舊的日志文件。 

從元數據節點將fsp_w_picpath文件加載到內存中，并執行日志文件中的操作，然后生成新的fsp_w_picpath文件。 

從元數據節點將新的fsp_w_picpath文件用http pst傳回元數據節點 

元數據節點可以將舊的fsp_w_picpath文件及舊的日志文件，換為新的fsp_w_picpath文件和新的日志文件(第一步生成的)，然后更新fstime文件，寫入此次checkpint的時間。 

這樣元數據節點中的fsp_w_picpath文件保存了最新的checkpint的元數據信息，日志文件也重新開始，不會變的很大了。

3、從元數據節點的目錄結構

4、數據節點的目錄結構

數據節點的VERSION文件格式如下：

namespaceID=1232737062
storageID=DS-1640411682-127.0.1.1-50010-1254997319480
cTime=0
storageType=DATA_NODE
layoutVersion=-18

blk_<id>保存的是HDFS的數據塊，其中保存了具體的二進制數據。 

blk_<id>.meta保存的是數據塊的屬性信息：版本信息，類型信息，和checksum 

當一個目錄中的數據塊到達一定數量的時候，則創建子文件夾來保存數據塊及數據塊屬性信息。