亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

HDFS有哪些顯著的特點

發布時間:2021-12-09 11:49:03 來源:億速云 閱讀:552 作者:小新 欄目:大數據

小編給大家分享一下HDFS有哪些顯著的特點,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!

分布式文件系統(Hadoop Distributed File System)是Hadoop核心子項目,為Hadoop提供了一個綜合性的文件系統抽象,并且只會實現了多類文件系統的接口。HDFS基于流式數據訪問、存儲和處理超大文件。

在HDFS中引入了存放元數據信息的服務器:NameNode和實際存放數據的服務器:DataNode。

HDFS有著顯著的特點

  • 存儲數據較大

運行在HDFS的應用程序的數據處理有較大的需求,從存儲GB到存儲TB級別的超大文件,在目前的實際應用中,HDFS以及被利用來管理存儲PB級別的數據

  • 支持多硬件平臺

Hadoop可以運行在廉價、異構的商用硬件集群上,并且可以在HDFS設計時充分考慮數據的可靠性、安全性、高可用性

  • 支持流式數據

HDFS有一個設計思路是“寫入一次,多次讀取”、數據源生成數據集后,會被復制分發到不同的存儲節點,已用于響應數據分析任務的請求。HDFS放寬了可移植操作系統接口的要求,可以以流的形式訪問文件系統中的數據

  • 數據的一致性高

因為采用“寫入一次,多次讀取”的策略,所以支持追加不支持多次修改,降低了數據不一致性的造成可能

  • 有效預防硬件失效

HDFS的設計能夠有效預防硬件異常并且具有自動恢復數據的能力

  • 高容錯性

HDFS能夠自動保存數據的多個副本,并且能夠自動將失敗的任務重新發配,具有高容錯性

所以,HDFS經常被使用于各個場景下,例如:

大數據存儲:分布式存儲

日志處理:擅長日志分析

ETL:數據可抽取到MYSQL,oracle,Lucene

機器學習

搜索引擎

但是,相對于的,HDFS也有不適應的地方

不適合低延遲的數據訪問

HDFS不適合處理那些數據訪問要求低延遲的請求,因為HDFS主要是為了高數據的吞吐設計的,會產生稿時間延遲的代價

無法高效的存儲大量小文件

HDFS采用主從架構來存儲數據,需要用到NameNode來管理文件系統的元數據,以響應請求。為了快速響應請求,元數據存在主節點的內存中,如果小文件數量多達,容易造成內存不足,導致系統錯誤

以上是“HDFS有哪些顯著的特點”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

清徐县| 淮滨县| 万载县| 宁陵县| 托里县| 宁明县| 固安县| 武陟县| 潢川县| 巴塘县| 红原县| 墨玉县| 井研县| 玉溪市| 祁东县| 龙井市| 城固县| 珠海市| 民县| 宁武县| 伽师县| 来安县| 肇州县| 新绛县| 兴山县| 新闻| 四川省| 盘山县| 西平县| 阿坝县| 呼图壁县| 潜山县| 巴中市| 伊宁县| 滨海县| 河池市| 中山市| 鹿邑县| 商水县| 林口县| 肃北|