NameNode有什么用

小編給大家分享一下NameNode有什么用，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

一 NameNode的作用

     NameNode是文件系統的大腦，管理文件的命名空間以及對集群中文件的訪問，存儲著元數據。保存的最重要的兩個映射：文件名&數據塊(保存在磁盤上，持久化的)  ，數據塊&DateNode列表(NameNode不保存，是通過DataNode傳遞的)。

    NameNode 與客戶端，DataNode,NameNode之間都可以通信，分別通過實現ClientProtocol,DataNodeProtocol和NameNodeProtocol接口。

二 文件讀寫過程分析

   1 文件讀取過程

       首先客戶端使用FileSystem.open()函數打開文件，DistributedFileSystem使用RPC與NameNode通信，得到文件的數據塊信息，對于每一個數據塊，元數據返回的是保存該數據塊的數據節點的地址。

        然后DistributedFileSystem 返回FSDataInputStream 給客戶端用來讀取數據，客戶端調用Stream的read()方法開始讀取數據。

        DFSInputSteam連接保存此文件第一個數據塊的最近的數據節點，data從數據節點讀到客戶端，當數據塊讀取完畢，DFSInputStream關閉與此數據節點的連接，連接下一個數據塊的最近的數據節點。當所有節點讀取完畢，調用FSDataInputSteam的close函數關閉。

      在讀取過程中，如果客戶端在與數據節點的通信中，出現錯誤，則直接讀取下個節點，并將此節點記錄下來。

   2 文件寫入過程

      首先客戶端調用create()方法創建文件，DistributedFileSystem調用RPC與NameNode通信，傳達客戶端要新建一個文件，元數據節點檢查命名空間，確定文件原來不存在，并且客戶端有創建文件的權限，然后在創建文件。返回DFSOutputStream,使得客戶端寫入數據。

      DFSOutputStream 將數據分成塊，寫入data queue,因為數據的寫入是流式的，data queue 由Data Stream 讀取，并通知其他的數據塊(假設默認復制3塊)，分配的數據節點放在一個pipeline里。

     Data Streamer將數據塊寫入pipeline中的第一個數據節點，第一個數據節點又將數據塊寫入第二個數據節點，第二個數據節點將數據寫入第三個數據節點。DFSOutput Stream為發出去的數據塊保存了ack queue,等待pipeline中的數據節點告知數據寫入成功。如果數據節點在寫入過程中失敗，關閉pipeline，將ack queue 中的數據塊放入data queue 的開始。失敗的數據節點從pipeline中移除，另外的數據塊則寫入pipeline中另外的兩個數據節點。元數據則被通知，復制塊數目不足，將會創建第三份備份。

   當客戶端結束寫入數據，則調用stream的close()函數

三   java API 對文件的基本操作

1 FileSystem類(開啟文件系統)

Configuration conf=new Configuration();//獲取配置信息
FileSystem fs=FileSystem.get(URI.create(uri),conf);//得到地址
InputStream input=null;
input=fs.open(new Path(uri));
IOUtils.copyBytes(input,System.out,4096,false);//讀取文件，打印出來
IOUtils.closeStream(input);

2 FileStatus類(查看文件狀態)

//查看HDFS中文件或者目錄的元信息。
FileStatus fstus=fs.getFileStatus(new Path(uri));
fstus.getPath();//得到文件路徑
fstus.getLen(); //得到文件長度
fstus.ModificationTime()//得到最新修改時間
fstus.getReplication()//得到文件備份樹
fstus.getOwner()//得到文件擁有者

3 BlockLocation(查看數據塊的位置)

//查找某個文件Block在HDFS集群的位置。
FileStatus fstus=fs.getFileStatus(new Path(uri));
BlockLocation []block=fs.getFileBlockLocations(fstus,0,fstus.getLen));

4 查看文件是否存在

//列出HDFS下的所有文件。檢查是否存在，使用exist()方法。
Path []paths=new Path[args.length];
FileStatus fstus=fs.listStatus(paths);
Path []listedPaths=FileUtil.stat2Paths(fstus);
for(Path p:listedPaths){
       System.out.println(p);
}

以上是“NameNode有什么用”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！