Cloudera CDH 離線安裝與使用

CDH 在線安裝方法如下，方便，但是由于在國內，訪問這個網站的速度很慢，并不快捷。

在線安裝Cloudera Manager服務器

# 配置cloudera-cdh源和cloudera-manager源

# cloudera-manager

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

# cloudera-cdh

wget https://archive.cloudera.com/cdh6/redhat/6/x86_64/cdh/cloudera-cdh6.repo

# 安裝jdk和cloudera-manager

sudo yum install cloudera-manager-daemons cloudera-manager-server -y

然后就可以訪問IP:7180通過網頁進行操作了。然而實際情況是，在線安裝，很慢很慢……

我們使用離線安裝的方式進行：

一、基礎環境準備

1. 相關包的下載地址： 

Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/ 

下載對應的文件，我下載的是：cloudera-manager-el6-cm5.13.3_x86_64.tar.gz

2. CDH安裝包地址：http://archive.cloudera.com/cdh6/parcels

由于我們的操作系統為CentOS6.5，需要下載以下文件,找到對應的版本： 

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1

manifest.json 

3. 準備JDBC，等下連接mysql會用到：

http://download.softagency.net/MySQL/Downloads/Connector-J/

 Updated on 20180727

Mysql jar連接已經失效,可以在下面網站下載最新的jar包

https://dev.mysql.com/downloads/file/?id=477054

4. 全部需要的軟件下載完，算上mysql jar一共是5個文件

cloudera-manager-el6-cm5.13.3_x86_64.tar.gz
CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel 
CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1 
manifest.jso
mysql-connector-java-5.1.35-bin.jar

5. 準備JDK

tar -zxvf jdk1.7.0_79.tar.gz -C /usr/local/jvm
cat /etc/profile
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6. 安裝設置NTP

6.1 yum install ntp

cat /etc/ntp.conf
driftfile /var/lib/ntp/drift   
restrict default kod nomodify notrap nopeer noquery 
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict -6 ::1  
restrict 192.168.206.0 mask 255.255.255.0 nomodify notrap 
 server 0.centos.pool.ntp.org iburst 
 server 1.centos.pool.ntp.org iburst 
 server 2.centos.pool.ntp.org iburst 
 server 3.centos.pool.ntp.org iburst

6.2啟動 ntp：

$ service ntpd start

6.3 設置開機啟動:

$ chkconfig ntpd on

6.4 檢查是否設置成功：chkconfig --list ntpd其中2-5為on狀態就代表成功。

6.5可以通過以下命令先進行時間同步：

ntpdate us.pool.ntp.org

6.6在兩個slave節點上執行即可

ntpdate -u bigdata1

7. 關閉防火墻，selinux等。

二、環境準備完成，開始安裝CDH

CDH的安裝，建議用root完成，后面有很多需要CDH創建目錄。用戶等操作。

1. 解壓CM到每個節點/opt的路徑下

tar -zxvf cloudera-manager-el6-cm5.13.3_x86_64.tar.gz -C /opt

下載的mysql-connector-java.jar拷貝到每個節點

cp  mysql-connector-java-5.1.35-bin.jar /opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar root@bigdata2:/opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar root@bigdata3:/opt/cm-5.13.3/share/cmf/lib/

2. 安裝mysql，并準備相關用戶，注意用戶創建過程中，要給予with grant option權限，不然后面會報錯

2.1安裝MySQL的yum源，下面是RHEL6系列mysql5.6的下載地址：

 rpm -ivh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm

2.2 yum安裝

yum install mysql-community-server -y

2.3 創建用戶和賦權

grant all privileges on *.* to root@'localhost' identified by 'root' with grant option;
grant all privileges on *.* to root@'%' identified by 'root' with grant option;
grant all privileges on *.* to scm@'localhost' identified by 'scm'  with grant option;
grant all privileges on *.* to scm@'%' identified by 'scm'  with grant option;

3. 在主節點初始化CM5的數據庫：

/opt/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hbigdata1 -uroot -proot --scm-host bigdata1 scm scm scm

  參數解釋：數據庫類型 數據庫名稱 數據庫主機名 數據庫用戶名 密碼 --scm-host cmserver主機名 scm scm scm

4. Agent配置 

修改/opt/cm-5.13.3/etc/cloudera-scm-agent/config.ini中的server_host為主節點的主機名。 不然agent無法找到server端。

4.1同步軟件到全部的Agent節點：

scp -r /opt/cm-5.13.3 root@node2:/opt/

5. 在所有節點創建cloudera-scm用戶

useradd --system --home=/opt/cm-5.13.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false  --comment "Cloudera SCM User" cloudera-scm

6. 準備Parcels，用以安裝CDH5 

將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中（parcel-repo需要手動創建）。 

相關的文件如下：

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1 

manifest.jso

最后將CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1，重命名為CDH-5.7.1- CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha，這點必須注意，否則，系統會重新下載CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1文件。 

Updated 20180727

原本這個地方好不容易發現,去掉"1"的方法安裝.現在安裝,發現"1"要保留的.CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha1名字保持不變,才可以.

7. 相關啟動腳本 

通過/opt/cm-5.13.3/etc/init.d/cloudera-scm-server start啟動服務端。 

通過/opt/cm-5.13.3/etc/init.d/cloudera-scm-agent start啟動Agent服務。

(所有節點都要啟動Agent服務，包括服務端)

我們啟動的其實是個service腳本，需要停止服務將以上的start參數改為stop就可以了，重啟是restart。

安裝到此處，可以考慮備份vmware虛擬機，后面CM的部署過程中，遇到錯誤，可以會滾到當前狀態調整。

三、CDH5的安裝配和集群配置

1. Cloudera Manager Server和Agent都啟動以后，就可以進行CDH5的安裝配置了。 

2. 這時可以通過瀏覽器訪問主節點的7180端口測試一下了（由于CM Server的啟動需要花點時間，這里可能要等待一會才能訪問頁面，可能需要3-5分鐘），默認的用戶名和密碼均為admin

3. 登陸后，會進入到歡迎/授權頁面

4. 選擇授權版本，這里選擇“免費版本”

5. 如果前面的的配置都是正確的，并且agent都啟動成功，這里“當前管理的主機”中，是可以看到全部節點的。注意：防火墻一定要關閉，不然會出現，agent節點，不能被發現的情況。

6. 前面已經將軟件包放到目錄/opt/cloudera/parcel-repo，這里就可以直接看到本地的包。

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh6.13.3.p0.2-el6.parcel.sha 

manifest.json

7. 點擊“繼續”，到集群安裝，這個會比較快，大概10分鐘完成。如果是在線安裝，這個要幾個小時，甚至下載失敗。

8. 根據提示，修復一些前面沒有配置好的項目，然后重新檢查。建議解決全部報錯，防止后續使用有詭異的問題發生。

9. 這里，我遇到的兩個問題：

9.1.JDK無法被識別，運行之前保證JDK路徑能被識別。

9.2.需要已經安裝perl軟件包

yum install -y perl

10. 選擇需要安裝的組合，也可以選擇自定義，后續單獨安裝每個組件

11. 選擇每個角色，需要部署在哪一個機器上

12. 選擇需要使用到mysql的組件，在mysql中創建的db、用戶名、密碼等

13. 安裝完成之后。

14. 安裝完成后，就可以進入集群界面看一下集群的當前狀況了。 

這里可能會出現無法發出查詢：對 Service Monitor 的請求超時的錯誤提示，如果各個組件安裝沒有問題，一般是因為服務器比較卡導致的，過一會刷新一下頁面就好了,根據實際情況調整配置即可：

15. 另外如果想添加新的主機，必須要先啟動新主機上的agent服務，否則新主機不能被發現，要重新下載cm-agent，很麻煩。安裝新的節點以后，記得運行"部署客戶端"命令。

四、問題匯總

問題1

CDH環境搭建好之后，訪問Oozie管理頁面時，出現如下問題：

解決方法：

根據提示，我們可以發現缺少Ext JS library，我們可以點擊給出的網址鏈接：

Oozie Quick Start

找到如下內容：

然后找到ExtJS2.2下載，下載完成后上傳到CDH的服務器的目錄/opt/cloudera/parcels/CDH/lib/oozie/libext/下面。

具體操作如下：

cd /opt/cloudera/parcels/CDH/lib/oozie/libext

unzip ext-2.2.zip

chown oozie:oozie -R ext-2.2

現在這個官網，已經不提供下載ext-2.2.zip，如果下載，請點擊鏈接：

然后我們再次訪問頁面就可以了。