Hadoop體系結構是怎么樣的

小編給大家分享一下Hadoop體系結構是怎么樣的，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

一.   Namenode

    1. 介紹

1)   是整個文件系統的管理節點

2)   它維護著整個文件系統的文件目錄樹，文件/目錄的元信息和每個文件對應的數據塊列表

3)   接收用戶的操作請求

4)   文件/目錄的元信息是指文件的名稱、大小、修改時間等等信息

    2. hdfs文件查看

1)   查看路徑：hdfs-site.xml的dfs.replication屬性hadoop.tmp.dir

<configuration>
       <property>
              <name>hadoop.tmp.dir</name>
              <value>/usr/local/hadoop/tmp</value>
       </property>
</configuration>

查看文件

[root@chaoren hadoop]# cd /usr/local/hadoop/tmp/dfs/name/current
[root@chaoren current]# ls
edits  fsimage  fstime  VERSION

2)   fsimage:元數據鏡像文件。存儲某一時段NameNode內存元數據信息

3)   edits:操作日志文件

4)   fstime:保存最近一次checkpoint的時間

二.   Datanode

        1. 提供真實文件數據的存儲服務。

        2. 文件塊（block）：最基本的存儲單位。對于文件內容而言，一個文件的長度大小是size，那么從文件的０偏移開始，按照固定的大小，順序對文件進行劃分并編號，劃分好的每一個塊稱一個Block。HDFS默認Block大小是64MB，以一個256MB文件，共有256/64=4個Block.

        3. 不同于普通文件系統的是，HDFS中，如果一個文件小于一個數據塊的大小，并不占用整個數據塊存儲空間

                4. Replication。多復本。默認是三個。查看hdfs-site.xml的dfs.replication屬性

三.   SecondaryNameNode

    1.       HA的一個解決方案。但不支持熱備。配置即可。

    2.       執行過程：從NameNode上下載元數據信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并將其推送到NameNode，同時重置NameNode的edits.

    3.         默認在安裝在NameNode節點上，但這樣...不安全

    4.         其他

以上是“Hadoop體系結構是怎么樣的”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！