溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹Hadoop文件系統有哪些，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！
Hadoop有一個抽象的文件系統概念，HDFS只是其中的一個實現。Java抽象類 org.apache.hadoop.fs.FileSystem展示了Hadoop的一個文件系統，而且有幾個具體實現，如表 3-1所示。
文件系統 | URI | Java實 現(全部在 | 描述 |
Local | file | fs.LocalFileSystem | 針對有客戶端校驗和 的本地連接磁盤使用 的文件系統。針對沒 有校驗和的本 地文件系統使用 RawLocalFileSystem。 詳情參見第4章 |
HDFS | hdfs | hdfs.Distributed- FileSystem | Hadoop的分布式 文件系統。HDFS 被設計為結合使用 Map-Reduce實現高 效工作 |
HFTP | hftp | hdfs.HftpFileSystem | 一個在HTTP上提 供對HDFS只讀訪 問的文件系統(雖然 其名稱為HFTP，但 它與FTP無關)。通 常與distcp結合使用 (參見第3章)，在運 行不同版本HDFS的 集群間復制數據 |
HSFTP | hsftp | hdfs.Hsftp- | 在HTTPS上提供對 HDFS只讀訪問的 文件系統(同上，與 FTP無關) |
HAR | har | fs.HarFileSystem | 一個構建在其他文 件系統上來存檔文 件的文件系統。Hadoop 存檔一般在HDFS中 的文件存檔時使用， 以減少名稱節點內存的使用 |
KFS(Cloud-Store) | kfs | fs.kfs.Kosmos- | cloudstore(其前身是 Kosmos文件系統) 是相似于HDFS或是 Google的GFS的文件 系統，用C++編 寫。詳 情可參見http://kosmosfs. |
FTP | ftp | fs.ftp.FTP- | 由FTP服務器支持的 文件系統 |
S3(本地) | s3n | fs.s3native.Native- | 由Amazon S3支 持的文件 系統。可參見 http://wiki.apache.org |
S3(基于 | s3 | fs.s3.S3FileSystem | 由 Amazon S3支 持的文件系統， 以塊格式存儲文件 (與HDFS很相似) 來解決S3的5 GB 文件大小限制 |
Hadoop提供了許多文件系統的接口，它一般使用URI 方案來選取合適的文件系統實例交互。舉例來說，我們在前一小節中研究的文件系統shell可以操作所有的Hadoop文件系統。列出本地文件系統根目錄下的文件，輸入以下命令：
1. % hadoop fs -ls file:///
盡管運行那些可訪問任何文件系統的MapReduce程序是可行的(有時也很方便)，但在處理大量數據時，仍然需要選擇一個有最優本地數據的分布式文件系統，如HDFS或者KFS。
以上是“Hadoop文件系統有哪些”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
