Hadoop0.20.0部署與測試中的單機和偽分布模式操作方法是什么

這篇文章將為大家詳細講解有關Hadoop0.20.0部署與測試中的單機和偽分布模式操作方法是什么，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

1.單機模式Local(Standalone)Mode

默認情況下，Hadoop被配置成以非分Java布式模式運行的一個獨立進程。這對調試非常有幫助。
經過上述配置，就可以運行單機模式了。具體操作請查看手冊

2.偽分布式模式的操作方法

Hadoop0.20.0部署中Hadoop可以在單節點上以所謂的偽分布式模式運行，此時每一個Hadoop守護進程都作為一個獨立的Java進程運行。
0.20版本較之前版本比配置文件有較大改動，由原來全部配置在hadoop-site.xml改為分別配置在以下三個文件中：
conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml

具體配置查看手冊
以conf/core-site.xml為例:

<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

如果出現連接錯誤，可以嘗試將了localhost替換為本機IP或127.0.0.1

Hadoop0.20.0部署中免密碼ssh設置
現在確認能否不輸入口令就用ssh登錄localhost:
$sshlocalhost
如果不輸入口令就無法用ssh登陸localhost，執行下面的命令：
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

執行
格式化一個新的分布式文件系統：
$bin/hadoopnamenode-format

啟動Hadoop守護進程：
$bin/start-all.sh

Hadoop守護進程的日志寫入到${HADOOP_LOG_DIR}目錄(默認是${HADOOP_HOME}/logs).
瀏覽NameNode和JobTracker的網絡接口，它們的地址默認為：
*NameNode-http://localhost:50070/
*JobTracker-http://localhost:50030/
到這步為止，必須要先訪問上面的NameNode網絡接口,當頁面能正常顯示HDFS的狀態時，才能正常進行下面的步驟。

1.點擊Browsethefilesystem,***次進入可能會返回一個404錯誤頁面。
2.返回上一頁，刷新頁面，這時候應該會出現下圖所示畫面，這就表明DFS已經正常工作(即DFSUsed等數值不再顯示為0)。
3.如果不行就反復操作1，2步驟，直至成功。

將輸入文件拷貝到分布式文件系統：$bin/hadoopfs-putconfinput
運行發行版提供的示例程序：$bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'

查看輸出文件：
將輸出文件從分布式文件系統拷貝到本地文件系統查看：
$bin/hadoopfs-getoutputoutput
$catoutput/*
$bin/hadoopfs-getoutputoutput
$catoutput/*
或者
在分布式文件系統上查看輸出文件：

$bin/hadoopfs-catoutput/*  $bin/hadoopfs-catoutput/*  3dfs.class  2dfs.period  1dfs.file  1dfs.replication  1dfs.servers  1dfsadmin  1dfsmetrics.log  3 dfs.class  2 dfs.period  1 dfs.file  1 dfs.replication  1 dfs.servers  1 dfsadmin  1 dfsmetrics.log

完成全部操作后，停止守護進程：$bin/stop-all.sh

Hadoop0.20.0部署與測試中的命令（Command）總結

這部分內容其實可以通過命令的Help以及介紹了解，我主要側重于介紹一下我用的比較多的幾個命令。Hadoopdfs這個命令后面加參數就是對于HDFS的操作，和Linux操作系統的命令很類似，例如：
Hadoopdfs–ls就是查看/usr/root目錄下的內容，默認如果不填路徑這就是當前用戶路徑；
Hadoopdfs–rmrxxx就是刪除目錄，如果多次執行，則每次執行前可以用此命令刪除已存在的文件夾內容；
Hadoopdfsadmin–report這個命令可以全局的查看DataNode的情況；
Hadoopjob后面增加參數是對于當前運行的Job的操作，例如list,kill等；
Hadoopbalancer就是前面提到的均衡磁盤負載的命令。

關于Hadoop0.20.0部署與測試中的單機和偽分布模式操作方法是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。