Hadoop0.20.0如何部署與測試

這篇文章主要為大家展示了“Hadoop0.20.0如何部署與測試”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Hadoop0.20.0如何部署與測試”這篇文章吧。

Hadoop0.20.0部署與測試

--最近對Hadoop的部署小有收獲，本文總結部署的主要過程以及遇到的問題，其中很多地方也是借鑒網絡上其他高手的經驗(資料大部分是0.19乃至更早的，0.20在配置上已有部分調整)。
Hadoop官方(強烈建議仔細閱讀官方原文文檔)
整個部署過程主要分為以下幾部分(以***0.20.0版本為例)：
系統環境為ubuntu.04、JDK1.6

1.下載

從Apache的任意鏡像站點上下載Hadoop***版本
壓縮包中的docs下有使用手冊，docs/cn下是中文手冊(0.19)

2.啟動hadoop集群前的準備工作

2.1安裝JDK如果機器為多核建議安裝JDK1.6，可以提高程序運行效率。

在/home/[$hadoop_home]/conf目錄下的hadoop_env.sh中設置Hadoop需要的環境變量，其中JAVA_HOME是必須設定的變量。
exportJAVA_HOME=/usr/lib/jvm/java-6-sun
exportJAVA_HOME=/usr/lib/jvm/java-6-sun

2.2配置SSH(for配置集群)

安裝SSH
以UbuntuLinux為例：
$sudoapt-getinstallssh
$sudoapt-getinstallssh

生成密鑰對
$ssh-keygen-trsa-P''
$ssh-keygen-trsa-P''

詢問其保存路徑時直接回車采用默認路徑
生成的密鑰對id_rsa，id_rsa.pub，默認存儲在/home/[$user]/.ssh目錄下。
然后將id_rsa.pub的內容復制到每個機器(也包括本機)的/home/[$user]/.ssh/authorized_keys文件中。
如果機器上已經有authorized_keys這個文件了，就在文件末尾加上id_rsa.pub中的內容。
如果沒有authorized_keys這個文件，直接cp或者scp就好了。

沒有authorized_keys時
$cpid_rsa.pubauthorized_keys
$cpid_rsa.pubauthorized_keys

或使用追加命令
$catid_rsa.pub>>authorized_keys
$catid_rsa.pub>>authorized_keys

Hadoop0.20.0部署中下面這步必須操作否則SSH無法正常運行，修改authorized_keys文件權限為當前用戶可讀寫，其他用戶只讀。
$chmod600authorized_keys
$chmod600authorized_keys
為了進一步加強安全，可以修改本機文件/etc/ssh/sshd_config，這樣設定之后SSH就只能通過密鑰認證登錄。

#去除密碼認證
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys
#去除密碼認證
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys。

以上是“Hadoop0.20.0如何部署與測試”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！