hadoop環境搭建及修改配置文件（第四講）

1.設置ip

  service network restart 重啟網卡生效

2.關閉防火墻（在hadoop中要使用到許多端口，為了避免麻煩之間對防火墻進行關閉）

  service iptables stop 關閉防火墻命令

  service iptables status查看防火墻狀態命令

  關閉防火墻的自動運行：

      查看自動運行的設置：chkconfig --list可以顯示所有的設置（防火墻iptables）

     過濾查看防火墻自動啟動設置

        chkconfig --list |（豎線） grep（過濾） iptables（過濾對象）

                        管道：把左側的輸出作為右側的輸入

     將防火墻的自動啟動設置全設置為off

        chkconfig iptables off

    從此后防火墻不會隨著系統的重新啟動自動開啟了

3.設置主機名

  查看主機名命令：hostname

  修改主機名：hostname crxy（超人學院），這種方式只對當前會話生效，重啟系統后還是沒有修改

  修改磁盤文件徹底改變主機名：vi /etc/sysconfig/network

  重啟機器后生效：reboot -h now(這兒可以不用重啟系統)

4.ssh的配置操作：ssh是類似與telnet的在機器之間進行遠程訪問的工具，telnet是明文，ssh是加密

  ssh使用的是非對稱加密，有公鑰密鑰的問題，如圖所示中訪問ip需要進行密碼登錄

  為了實現免密碼登錄，需要進行如下配置：

   ssh-keygen -t rsa(先產生密鑰)，多次回車后找到your public key has been saved in

/root/.ssh/id_rsa.pub（密鑰生成的公鑰保存在一個目錄中）

   cd /root/.ssh或者cd /root/.ssh、

   cp id_rsa.pub authorized_keys(圖中少了s)

   或者直接 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

也可以ssh localhost（當第一次訪問的時候需要輸入密碼，之后就不需要輸入密碼了）

對于ssh 主機名的問題解決（之所以出錯是因為主機名依賴于域名，之所以能夠在瀏覽器中輸入主機名訪問是因為綁定了域名的緣故），綁定ip地址的方法：

5.ip與hostname綁定

    vi /etc/hosts(在下一行添加192.168.42.100 crxy)(分別對于linux的ip和主機名稱)

6.使用WinSCP工具軟件在windows和linux之間的文件傳遞

傳送文件：左側找到文件，右側打開文件，路徑中修改/root為/usr/local,(其中/usr/local是自定義的安裝目錄，也可以自己定義)，下面會話書簽點擊添加，之后再點擊共享書簽，點擊添加，最后確定

這樣之后local目錄下會有文件，我們可以全部選中，右鍵點擊刪除

然后把hadoop文件和jdk文件拖進去即可

拖動完成后可以使用命令查看local下的文件

7.安裝jdk

  在安裝jdk之前需要對權限進行修改，這樣之后就能夠使用tab鍵自動補全

  通過./jdk...進行解壓

8.安裝hadoop

   解壓.tar.gz格式的命令:  tar -xzvf hadoop-1.1.2.tar.gz

          x表示解壓縮，z表示壓縮格式，v表示顯示信息，f表示文件

    配置環境變量

9.安裝偽分布

  修改hadoop/conf下的幾個配置文件

     1.hadoop-env.sh

     2.core-site.xml

     3.hdfs-site.xml

     4.mapred-site.xml

 a.修改hadoop-env.sh

  b.core-site.xml

 c.hdfs-site.xml

d.mapred-site.xml

這樣，hadoop的配置就算完成了，剩下的工作就是啟動hadoop

10.hadoop的啟動

   a.在啟動hadoop之前須要對hadoop文件系統進行格式化（hadoop包括存儲和計算兩部分，類似其他文件系統一樣，當一個存儲空間需要使用時須要對存儲空間進行格式化）

   格式化的命令：hadoop namenode -format

 b.hadoop文件系統啟動命令：

   start-all.sh

   驗證：在window的命令窗口下（windows已經配置好了jdk的環境變量）運行命令jps（查看java進程的命令）就能夠查看java的運行進程，如果在linux中運行jps可以查看到java進程的話表示hadoop文件系統啟動成功（因為hadoop是基于java開發的）

啟動時沒有NameNode的可能原因:

(1)沒有格式化

(2)環境變量設置錯誤

(3)ip與hostname綁定失敗

最后，我們可以通過瀏覽器的方式觀察hadoop啟動的狀態，即我們可以通過windows訪問：

  在windows瀏覽器中輸入http://192.168.42.100:50070(http://192.168.42.100:50070(li linux網址+端口號)或者直接輸入192.168.42.100:50070即可（這是因為在windows中也可以ping通linux網絡的原因），在linux的瀏覽器中也可以看到同樣的效果（在linux瀏覽器中ip地址可以使用主機名代替，因為它們之間相互綁定了）

在瀏覽器查看中，50070查看的是NameNode的信息，50030查看的是MapReduce的信息

11.命令匯總：