HDFS原理及架構

HDFS架構

HDFS是一個master/slave結構的服務，其中NameNode是master，一般只在一臺節點上啟動；DataNode是slave，一般每臺節點都會啟動一個；DataNode不斷地主動向NameNode發送心跳、匯報block信息等；為了對NameNode進行備份，還會有一個SecondaryNameNode

HDFS各類操作

1. 創建目錄
   
   client與namenode直接交互，在INode中創建目錄節點，并將操作寫入edit log中即可，全程不需要datanode參與。
2. 刪除文件
   
   客戶端與namenode交互刪除文件，namenode只是標記要刪除，但不會主動通知datanode；
   當對應的datanode向namenode發送心跳時，namnode會把刪除指令放到返回值里；
   所以一般刪除不是立即刪除，而是有一定的延遲。
3. 讀文件
   
   client先與namenode交互，通過getBlockLocatitions方法獲取到文件block所在節點，然后client再與datanode交互獲取具體數據；
   block可能不是一次全部返回，可能需要多次調用getBlockLocatitions。
   客戶端讀數據時如果DN發生故障，則會接著讀取下一個數據塊兒，并記錄這個出故障的節點；讀數據返回中包含了數據的校驗和，如果發現錯誤，會報告給NN，并從其它副本讀取。
4. 寫文件
   
   client先與NN交互，在NN命名空間中創建一個新文件；
   第二步client真正寫入之前再跟NN交互獲取要在哪兒寫，addBlock返回一個LocateBlock對象，包含數據庫標志和版本號；
   LocateBlock還提供了跟DN交互的數據流管道，client寫入到管道中的數據被分為一個個的文件包，這些被放入到一個輸出隊列中；
   第三步client跟DN交互寫入數據，第一個節點寫完，由第一個DN向第二個DN寫，寫完還要返回ack確認信息；如果收到ack確認信息，則將這個文件包從隊列中刪除；
   寫完一個數據塊之后，DN會跟NN交互，向NN提交這個數據塊。

對于某個DN發生故障的情況：
1，先關閉數據流通道，正在寫的數據包由于沒有收到ack，不會從隊列中刪除，數據不會丟失；
2，正常的DN上的數據塊會被賦予一個新的版本號，并通知NN。主要是故障節點恢復后，發現版本號跟NN上的不一致就會自動刪除了；
3，數據流管道刪除錯誤節點并重新建立管道，繼續在正常幾點上寫數據；
4，文件關閉后，NN發現此數據庫沒有達到副本數要求，會選擇一個新的DN來復制數據塊。

5. SecNameNode備份
   hdfs的元數據保存在Inode對象中，但是namenode是一個單點master，如果數據都在內存則無法進行故障恢復。
   hdfs有一個檢查點機制，會把某個時間點內存中的Inode持久化到fsimage文件中，同時對每個操作記錄寫入到edit log中。
   SecNameNode則負責把namenode上的fsimage和edit log合并。
   
   1，SecNN不斷地獲取NN上editlog的大小，如果太小則不做處理；
   2，如果editlog較大，則SecNN通知NN發起一次檢查點操作；
   3，NN會產出一個新的editlog——edit.new，此后對元數據的操作都寫入到edit.new文件中；
   4，而SecNN則通過http接口分別將NN上的fsimage和editlog拉取到SecNN節點上，并在內存中合并，并產出文件fsimage.ckpt;
   5，SecNN再主動通知NN鏡像已合并完成；
   6，NN通過http接口拉取過來fsimage.ckpt并覆蓋原來的fsimage，最后將edit.new改回edit

HDFS HA

https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/index.html