hadoop體系結構的示例分析

這篇文章給大家分享的是有關hadoop體系結構的示例分析的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

hadoop的體系結構

  NameNode  - 主節點主服務器
  SecondaryNameNode– 是輔助nameNode
  DataNode  -數據保存用的
  TaskTracker – 接收任務
  JobTracker  - 分數據 -100M  Datanode1,DataNode2,DataNode3
Master:主節點,相當于項目經理
Slave:從節點相當于PG
Hadoop只能運行在linux系統上:
在linux系統上裝JVM虛擬機,然后,上面運行了三個進程
SecondaryNameNode,Jobtracter,NameNode這三個進程,這三個都是java進程
其中,NameNode是最重要的一個java進程,他決定了主節點,在從節點上沒有這個進程
SecondaryNameNode相當于NameNode的秘書,協助NameNode完成工作, Jobtracter任務跟蹤進程,用來跟蹤任務
并且把任務交給從節點.
可以看到通常應用都會有一個主節點和一個從節點,并且從節點中也有兩個java進程,因為在裝有從節點的服務器上,也裝的是linux系統,
在linux系統上裝有jvm,然后跑了兩個java進程,一個是: Jobtracter,另一個是:DataNode數據節點,這個進程用來處理和數據有關的任務.
注意在hadoop系統中,只有一個主節點,其他的都屬于從節點.
    
l  NameNode:這是hadoop的守護進程(注意是進程JVM)。負責記錄文件是如何分割成數據塊，以及這些數據塊分別存儲到哪些數據節點上。
對內存進行集中管理。NameNode在整個hadoop中只有一個。一旦NameNode服務器宕機，整個系統將無法運行。


l  DataNode:集群中的每個從服務器都運行一個DataNode后臺程序。這個后臺程序負責將HDFS數據塊寫到本地的文件系統。

l  Secondary NomeNode:用來監控HDFS狀態的輔助后臺程序。如保存NameNode的快照。

l  JobTracker:用戶連接應用程序和hadoop。每一個hadoop集群中只一個 JobTracker,一般它運行在Master節點上。

l  TaskTracker:負責與DataNode進行結合。

hadoop namenode -format [格式化以后生成的目錄 ，即hdfs的目錄。]


啟動hadoop

如果發現有5個java進程，則說明啟動成功：
因為這里我們用了一臺機器,所以這臺機器既充當了主節點,又充當了從節點.
用jps命令,可以查看啟動了哪些java進程.
jps
ResourceManager(hadoop2.x封裝了JobTracker、TaskTracker)
NameNode
NodeManager
DataNode
SecondaryNameNode[這個進程，不知我的怎么沒有啟動起來]

hdfs概念與命令
  HDFS是hadoop Distributed file system的縮寫，是hadoop的分布式文件系統。
  HDFS由hadoop來管理，它不同于普通的文件系統，不能直觀的查找文件，必須要通過hadoop命令操作HDFS。
  
  HDFS是一個主從結構的體系，一個HDFS集群是由一個名字節點，它是一個管理文件的命名空間和調節客戶端訪問文件的主服務器，
  當然還有的數據節點，一個節點一個，它來管理存儲。HDFS暴露文件命名空間和允許用戶數據存儲成文件。
  內部機制是將一個文件分割成一個或多個的塊，這些塊存儲在一組數據節點中。
  NameNode名字節點操作文件命名空間的文件或目錄操作，如打開，關閉，重命名，等等。它同時確定塊與數據節點的映射。
  DataNode數據節點來負責來自文件系統客戶的讀寫請求。
  數據節點同時還要執行塊的創建，刪除，和來自名字節點的塊復制指示。
  名字節點和數據節點都是軟件運行在普通的機器之上，機器典型的都是linux，HDFS是用java來寫的，
  任何支持java的機器都可以運行名字節點或數據節點，利用java語言的超輕便型，很容易將HDFS部署到大范圍的機器上。
  典型的部署時將有一個專門的機器來運行名字節點軟件，機群中的其他機器運行一個數據節點實例。
  體系結構排斥在一個機器上運行多個數據節點的實例，但是實際的部署不會有這種情況。
  集群中只有一個名字節點極大地簡單化了系統的體系。名字節點是仲裁者和所有HDFS的元數據的倉庫。系統設計成用戶的實際數據不經過名字節點。
  
  1、hadoop下的文件操作命令
1 ：列出hdfs文件
~# hadoop dfs –ls /或~# hadoop fs –ls / 或hdfs dfs -ls /
查看user下的內容
hadoop fs –ls  /user
這里查看這個文件還有一個方法就是在網頁中查看:進入http://127.0.0.1:50070,也就是hdfs的管理系統
然后點擊相應的文件目錄就可以了.
這里需要注意:當查看hadoop文件系統的時候需要用命令hadoop fs –ls  這樣前面加上hadoop fs 因為假如
直接用ls的話,那么就是指模擬出來的linux文件系統中的東西

2：將文件上傳到hdfs
這里演示將windows系統中的一個credream.txt文件上傳到hadoop的hdfs分布式系統中,
首先可以通過cd c:進入本地的windows的c盤
然后cd..走到系統的根目錄
Ls可以看到當前文件系統的盤符
Cd c
Ls
可以列出c盤中的文件
:
xiaofeng@xiaofeng-PC/cygdrive/c
下面通過命令把本地c盤中的credream.txt文件傳到hadoop hdfs文件系統中的user目錄下
下面是命令行:
注意:這里hdfs dfs –put credream.txt /user/credream.txt
就是把c盤的文件上傳到hadoop的hdfs文件系統的user目錄下.
hdfs dfs –put credream.txt,這個指的是本地c盤,因為可以看到cygdrive/c指的就是c盤了,所以沒有另外指定本地的文件目錄
而且可以對文件進行重命名:
hdfs dfs –put credream.txt /user/hadoop.txt就是把本地c盤的credream.txt文件上傳到hadoop的hdfs系統并進行重命名.
echo hello credream > test.txt就是指的是在本地的C盤進行創建一個test.txt文件,但是如果是win7系統的話,那么會有
權限問題
可以看到在c盤不可以,但是在d盤就可以創建test.txt文件了
這是把本地D盤的test.txt文件上傳到hdfs文件系統的/user/目錄下不改變文件的名字
這里是上傳整個目錄到hdfs文件系統的/user/目錄下
mkdir hadooptest 在本地d盤創建一個hadooptest文件夾
cp test.txt hadooptest就是把test.txt文件拷貝到hadooptest文件夾中
hadoop fs –put hadooptest /user/
把hadooptest文件夾上傳到hdfs文件系統的/user/目錄下
使用hadoop fs –copyFromLocal test.txt /user/testa.txt
將本地的test.txt文件拷貝一份然后上傳到hdfs文件系統中并且重命名為testa.txt文件
然后通過hadoop fs –ls /user 查看hdfs文件系統中user目錄下的文件

3：將hdfs中的文件復制到本地系統中
通過get命令，即可以操作文件也可以操作文件夾：
操作一個文件，將hdfs上的文件/wj/a.txt保存到本地，并取名為b.txt
以下下載整個文件到當前目錄下來，注意最后的一個點
get命令例子二:
通過hadoop fs –get /user/testa.txt testb.txt 就是把hdfs中的user/下的testa.txt文件下載到本地并重命名
hadoop fs –get /user/testa.txt . 直接把hdfs中的user/下的testa.txt文件下載到本地 .代表直接到本地不進行重命名
hadoop fs –get /user/hadooptest . 直接把hdfs中的user/下的hadooptest文件夾下載到本地 .代表直接到本地不進行重命名


4：刪除hdsf下的某個文檔
這里是刪除本地的文件,和linux下的命令一樣
刪除文件夾的時候要用遞歸
這里是刪除hdfs文件系統中的文件和文件夾的例子:
hadoop fs –rm /user/testa.txt 刪除user文件夾下的testa.txt文件
hadoop fs –rm /user/*.txt 刪除user文件夾下所有.txt的文件
hadoop fs –rm /user/hadooptest 這樣是不能刪除一個文件夾的要用遞歸
hadoop fs –rmr user/hadooptest 這個命令可以刪除文件夾和文件夾中的文件遞歸刪除

感謝各位的閱讀！關于“hadoop體系結構的示例分析”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！