分布式存儲架構IPFS和HDFS的示例分析

這篇文章主要為大家展示了“分布式存儲架構IPFS和HDFS的示例分析”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“分布式存儲架構IPFS和HDFS的示例分析”這篇文章吧。

分布式存儲架構是一個復雜的系統工程，針對特定應用的數據存儲有不同的系統架構解決方案。不同的存儲方法會影響存儲性能、存儲成本、冗余度、工程復雜性等。

分布式存儲的歷史

分布式存儲最早是由谷歌提出的，其目的是通過廉價的服務器來解決大規模，高并發場景下的 Web 訪問問題。它采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于后期服務器擴展。

分布式存儲的崛起

分布式存儲的興起與互聯網的發展密不可分，互聯網公司由于其大數據、輕資產的特點，通常使用大規模分布式存儲系統。

與傳統的高端服務器、高端存儲器和高端處理器不同的是，互聯網公司的分布式存儲系統由數量眾多的、低成本和高性價比的普通 PC 服務器通過網絡連接而成。由于互聯網的業務發展迅猛，使得存儲系統架構不能依靠傳統的縱向擴展的方式，即先買小型機，不夠時再買中型機，甚至大型機。互聯網后端的分布式系統要求支持橫向擴展，即通過增加普通 PC 服務器來提高存儲系統的整體處理能力。

另外，隨著服務器的不斷加入，需要能夠在軟件層面實現自動負載均衡，使得系統的處理能力得到線性擴展。在這種情況下，分布式存儲的成為大多數企業的必然選擇。

分布式存儲的發展

如果客戶端需要從某個文件讀取數據，首先從 NameNode 獲取該文件的位置，然后從該 NameNode 獲取具體的數據。在該架構中 NameNode 通常是主備部署（ Secondary NameNode ），而 DataNode 則是由大量節點構成一個集群。由于元數據的訪問頻度和訪問量相對數據都要小很多，因此 NameNode 通常不會成為性能瓶頸，而 DataNode 集群中的數據可以有副本，既可以保證高可用性，可以分散客戶端的請求。因此，通過這種分布式存儲架構可以通過這種分布式存儲架構可以通過橫向擴展 datanode 的數量來增加承載能力，也即實現了動態橫向擴展的能力。

HDFS的功能

1）數據的分布式存儲和處理。

2）Hadoop 提供了一個命令接口來與 HDFS 進行交互。

3）namenode 和 datanode 的內置服務器可幫助用戶輕松檢查群集的狀態。

4）對文件系統數據的流式處理訪問。

5）HDFS 提供文件權限和身份驗證。

HDFS的架構

下面給出的是 Hadoop 文件系統的體系結構

3.Block

通常，用戶數據存儲在 HDFS 的文件中。文件系統中的文件將分為一個或多個片段存儲在單個數據節點中。這些文件段稱為block。換句話說，HDFS 可以讀取或寫入的最小數據量稱為block。默認塊大小為 64MB，可以根據 HDFS 配置進行更改。

HDFS的特點

1、故障檢測和恢復 – 由于 HDFS 包含大量產品硬件，組件故障頻繁。因此，HDFS 應具有快速自動故障檢測和恢復的機制。

2、數據集的管理 – HDFS 每個群集都有數百個節點來管理具有大型數據集的應用程序。

3、數據硬件處理 – 當計算在數據物理附近時，可以高效地完成請求的任務。特別是在涉及大量數據集時，它減少了網絡流量并提高了吞吐量。

IPFS的簡介

IPFS（Inter Planetary File System），又叫星際文件系統。IPFS在2015年開啟，目前已經有5年時間了。IPFS和Filecoin一直熱度不斷，影響力也是越來越大。在這里我們先撇開區塊鏈部分的Filecoin不談，重點分析下IPFS在分布式存儲方面的應用。

2.重復內容清理

IPFS網絡中會對重復的內容進行去重處理，在保證整個網絡存儲文件的冗余量的同時保證網絡的輕便與快捷。

4.通過節點尋址查找要查看或下載的文件時，用戶需要讓網絡找到對應內容的存儲節點，然后確定所需求的文件內容。

從上述的原理中我們可以清晰地看出，在存儲方面IPFS與傳統的分布式存儲是完全不同的，是完全去中心化的。

HDFS與IPFS對比

BMJ是基于IPFS設計的一種新的互聯網協議下的分布式存儲技術，其目標是永久存儲數據，消除網絡上的重復，并獲取存儲在網絡計算機上的信息的地址，未來它會是一個開源項目。

作為分布式存儲的領航者，BMJ目前正在快速布局，未來形成包括云存儲、云計算、大數據的產業集群，可以更好的引領傳統企業升級轉型，推動整個新經濟的發展。

以上是“分布式存儲架構IPFS和HDFS的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！