cloudra安裝hadoop集群的步驟

本篇內容主要講解“cloudra安裝hadoop集群的步驟”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“cloudra安裝hadoop集群的步驟”吧!

以下步驟要在所有節點上執行
1.1修改hostname
vi /etc/sysconfig/network
1.2關閉SELinux
查看SELinux狀態getenforce
若SELinux沒有關閉，按照下述方式關閉
vi /etc/selinux/config
修改SELinux=disabled。重啟生效，可以等后面都設置完了重啟主機
1.3關閉防火墻
sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list
1.4網絡配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
IPADDR=192.168.1.110
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
DNS1=8.8.8.8
DNS2=8.8.4.4
GATEWAY=192.168.1.1
1.5修改host
127.0.0.1          localhost#必須配置
# CDH Cluster
192.168.88.149   h01
192.168.88.148   h02
192.168.88.150   h03


配置綿密登錄

2.提前下載(本教程中，CM和CDH版本均為5.2.0)
2.1下載cloudera-manager.repo下載cloudera-manager.repo #########333http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo
2.2下載CM installer   #######http://archive.cloudera.com/cm5/installer/5.2.0/cloudera-manager-installer.bin
2.3下載CM rpms，目錄下全部下載出來 #######http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.2.0/RPMS/x86_64/
2.4下載CDH Parcel文件，只需要下載圖中所示的3個文件
#http://archive.cloudera.com/cdh6/parcels/5.2.0/CDH-5.2.0-1.cdh6.2.0.p0.36-el6.parcel
#http://archive.cloudera.com/cdh6/parcels/5.2.0/CDH-5.2.0-1.cdh6.2.0.p0.36-el6.parcel.sha1 ###.sha1文件后綴更改為.sha，同時把內容只保留hash碼部分
#http://archive.cloudera.com/cdh6/parcels/5.2.0/manifest.json

3.Cloudera Manager安裝[所有節點]
3.1將cloudera-manager.repo文件拷貝到所有節點的/etc/yum.repos.d/文件夾下
mv cloudera-manager.repo /etc/yum.repos.d/
3.2驗證repo文件是否起效[root@h01 ~]#
 vi /etc/yum.conf
timeout=50000
yum list|grep cloudera
如果列出的不是你安裝的版本，執行下面命令重試
yum clean all
yum list | grep cloudera
3.3將之前下載的rpms文件拷貝到所有節點下（任意目錄）
切換到rpms目錄下，執行
yum -y install *.rpm
3.4下載CDH將之前下載的Parcel那3個文件拷貝到/opt/cloudera/parcel-repo目錄下（如果沒有該目錄，請自行創建）
mv manifest.json /opt/cloudera/parcel-repo
root@h02 soft]# mv CDH-5.2.0-1.cdh6.2.0.p0.36-el6.parcel /opt/cloudera/parcel-repo
mv CDH-5.2.0-1.cdh6.2.0.p0.36-el6.parcel.sha1 /opt/cloudera/parcel-repo
mv CDH-5.2.0-1.cdh6.2.0.p0.36-el6.parcel.sha1 CDH-5.2.0-1.cdh6.2.0.p0.36-el6.parcel.sha
至此，/opt/cloudera/parcel-repo下面有三個文件： CDH-5.2.0-1.cdh6.2.0.p0.36-el6.parcel
mainfest.json
CDH-5.2.0-1.cdh6.2.0.p0.36-el6.parcel.sha

在master 節點安裝daemons、server、agent（先裝daemons）(rpm -ivh *.rpm)
yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum --nogpgcheck localinstall cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm（注：agent安裝需要聯網）
在slave-1、slave-2節點安裝daemons、agent（先裝daemons）
yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm
yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm（注：agent安裝需要聯網）
在master、slave-1、slave-2 節點安裝JDK、oraclejdk
rpm -ivh jdk-6u31-linux-amd64.rpm

##############以下步驟請只在主節點上執行：
將下載好的bin文件拷貝到主節點任意目錄下
進入該目錄，給bin文件賦予可執行權限
sudo chmod +x ./cloudera-manager-installer.bin
安裝CM
./cloudera-manager-installer.bin
/etc/cloudera-scm-server/db.properties
接下來全部next和yes就行了，因為所需要的rpm包已經提前下載下來了，這個過程會進行的非常快。

master節點配置cloudera manager
.啟動cm server ：service cloudera-scm-server start

4.添加cm server服務 ：chkconfig cloudera-scm-server on

5.啟動cm agent ：chkconfig cloudera-scm-agent on

6.添加cm agent服務 ：service cloudera-scm-server start

九、修改所有節點的agent 配置文件

/etc/cloudera-scm-agent/config.ini 將配置文件中的host 改成 cdh-master

十、在slave節點配置cloudera manager  agent程序

1.啟動cm agent ：chkconfig cloudera-scm-agent on

2.添加cm agent服務 ：service cloudera-scm-server start
十一、測試agent和server是否通信成功
   service cloudera-scm-server status
   service cloudera-scm-agent status
   netstat –anp | grep 7182
  # server 端開啟的是7182端口，用于和agent進行通訊
   啟動失敗時可以查看日志
   server 日志 /var/log/cloudera-scm-server
   agent 日志 /var/log/cloudera-scm-agent
CDH集群安裝
CM安裝成功后瀏覽器輸入http://ip:7180,ip是CM安裝的主機ip或者主機名。顯示如下界面，用戶名和密碼都輸入admin，進入web管理界面。

二、卸載步驟

記錄卸載過程和問題。現有環境Cloudera Manager + (1 + 2 )的CDH環境。
1、先在Manage管理端移除所有服務。
2、刪除Manager Server
在Manager節點運行
 /usr/share/cmf/uninstall-cloudera-manager.sh如果沒有該腳本，則可以手動刪除，先停止服務：
 service cloudera-scm-server stop
 service cloudera-scm-server-db stop然后刪除：
 yum remove cloudera-manager-serversudo
 yum remove cloudera-manager-server-db3 、刪除所有CDH節點上的CDH服務，先停止服務：
  service cloudera-scm-agent hard_stop卸載安裝的軟件：
 yum remove 'cloudera-manager-*' hadoop hue-common 'bigtop-*'4、刪除殘余數據：
  rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera*
  5、kill掉所有Manager和Hadoop進程（選作，如果你正確停止Cloud Manager和所有服務則無須此步）

$ for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done6、刪除Manager的lock文件
在Manager節點運行：
rm /tmp/.scm_prepare_node.lock至此，刪除完成。
/var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log
http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.2.1/RPMS/x86_64/

到此，相信大家對“cloudra安裝hadoop集群的步驟”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！