java中hadoop集群服務器如何安裝

這篇文章主要介紹了java中hadoop集群服務器如何安裝，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

虛擬機以及Linux系統安裝在之前的兩篇分享中已經詳細的介紹了方法，并且每一步的都配圖了。如果有朋友還是看不懂，那我也愛莫能助了。本篇主要就hadoop服務器操作系統配置進行詳細說明，hadoop安裝會在下一篇文章中詳細的介紹。
hadoop安裝包用的是大快DKHadoop發行版，個人覺得DKHadoop的安裝過程是比較簡單，關于dkhadoop的安裝在下一次的分享中再詳細介紹吧。下面進入到本篇的主題——服務器操作系統配置教程

一、安裝包準備
1、虛擬機分布式安裝（三臺及以上虛擬機）
若是個人電腦Windows系統或Linux系統，虛擬機上虛擬的三臺服務器，則將安裝包拷貝到服務器上，進行安裝操作即可。
2、物理集群（三臺及以上實體服務器）
1、    外網下載模式
2、    本地文件模式
將安裝包文件直接拷貝到實體服務器root目錄下，進行安裝操作即可。
3、上傳模式
當服務器在機房，且無顯示和輸入設備的情況下，應用該模式。
現將文件，安裝在本地計算機上（默認為筆記本電腦，在機房現場），并將計算機與服務器連接，將安裝包install、DKHInstall上傳到服務器root目錄下。

二、服務器操作系統配置教程
準備工作完成之后，就要進行服務器配置操作，首先必須三臺服務器之間要互相ping通。所謂ping通，就是兩臺設備之間網絡是通的。從一端發送一個數據包，另一端就能夠收到，就代表兩臺設備是能夠ping通了。
1、修改權限
目的：使install、DKHInstall兩個安裝包有可執行的權限。權限不足無法執行一些操作。install里面是腳本和所有組件，DKHInstall里面是安裝界面。
步驟：在準備工作中拷貝安裝包 install、DKHInstall到主節點目錄后，修改文件權限。首先進入root目錄，安裝目錄 install、DKHInstall的權限改為：文件所有者可讀可寫可執行，與文件所有者屬于一個用戶組的其他用戶可讀可執行，其他用戶組可讀可執行。
命令：
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform

2、 搭建Hadoop集群設置SSH免密登錄
目的：Hadoop運行過程中需要管理遠端Hadoop守護進程，在Hadoop啟動以后，NameNode是通過SSH（Secure Shell）來啟動和停止各個DataNode上的各種守護進程的。這就必須在節點之間執行指令的時候是不需要輸入密碼的形式，所以我們需要配置SSH運用無密碼公鑰認證的形式，這樣NameNode使用SSH無密碼登錄并啟動DataName進程，同樣原理，DataNode上也能使用SSH無密碼登錄到NameNode。
步驟：
（1）修改本機hosts文件，寫入對應關系
為了區分局域網內的每臺主機，都會給主機配一個主機名，每臺主機之間又是通過IP進行通信，但IP地址不方便記憶，所以配置主機名和IP映射能夠實現主機之間的快速方便的訪問。
命令：
vi /etc/hosts
通過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+: 鍵，輸入wq，后回車就可以保存。輸入q！后回車則是放棄保存并退出.
進入編輯模式后，按照規則寫入主機與ip的對應關系（主機名稱dk41是自己命名的，如下圖）例：

   192.168.1.41    dk41

192.168.1.42    dk42
192.168.1.43    dk43

編輯完后，保存退出。把對應關系拷到其他兩臺或多臺機器上。
命令：
scp  -r  /etc/hosts  192.168.1.42:/etc
scp  -r  /etc/hosts  192.168.1.43:/etc
（2）執行集群之間免密前的準備工作  
執行sshpass.sh的腳本的時候會去讀sshhosts和sshslaves這兩個文件，替換
修改文件sshhosts，輸入全部機器的主機名，每行一個主機名（如下圖）
命令：
vi /root/DKHPlantform/autossh/sshhosts
通過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq，后回車就可以保存。輸入q！后回車則是放棄保存并退出.

修改文件sshslaves，寫入除主機名之外的所有機器名（如下圖）
命令：
vi /root/DKHPlantform/autossh/sshslaves
通過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq，后回車就可以保存。輸入q！后回車則是放棄保存并退出.

（3）執行集群免密工作
命令：
cd /root/DKHPlantform/autossh
./autossh 主節點主機名 集群密碼
例： ./autossh dk41 123456
（4）關閉防火墻
防止訪問服務器時某些服務被攔截,需關閉防火墻。
命令：
cd /root/DKHPlantform/autossh
./offIptables.sh

3、 安裝雙機熱備份的MySQL
目的：存放Hive的元數據
步驟：
（1）從主節點分發mySQL安裝目錄到第二節點
命令：
scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/
（2）主節點執行：
命令：                                                                                                                                
cd /root/DKHPlantform/mysqlInst/
./mysql.sh 1
從節點執行:
命令：
cd /root/mysqlInst/
./mysql.sh 2

（3）執行成功之后執行熱備份（兩臺機器上都要執行，兩個ip互換,41上寫42,42上寫41,密碼是MySQL的密碼為：123456。平臺內已經設定好，請勿修改）：
命令：
source /etc/profile
./sync.sh 192.168.1.xxx(另一臺mysql地址)
4、 創建數據庫
目的：MySQL是一種關聯數據庫管理系統，關聯數據庫將數據保存在不同的表中，增加了速度并提高了靈活性。
步驟：
（1）導入MySQL數據表，只在主節點執行：
命令：
mysql -uroot -p123456 < { 此處為sql文件,主目錄下文件： dkh.sql}
如：mysql -uroot -p123456 </root/DKHPlantform/dkh.sql
（2）執行完后查看一下兩臺mysql的數據表是否存在,從主節點中查看執行：
命令：
mySQL  -uroot  -p123456
show databases;
use dkh;
show tables;

5、啟動安裝
目的：服務器配置操作完成之后，啟動DKH。
步驟：執行以下命令。
命令：
cd /root/DKHPlantform/dkh-tomcat*/bin/
./startup.sh
6、本地時間服務器搭建步驟
沒聯網或者裝系統時時間未同步，需要搭建本地時間服務器。
（1）搭建內網的ntp服務器
修改/etc/ntp.conf
命令：
Vim /etc/ntp.conf
通過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq后回車就可以保存。輸入q！后回車則是放棄保存并退出.
修改下列三行:

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org

server 2.centos.pool.ntp.org

在文件最后添加下列兩行:
server  127.127.1.0  
fudge   127.127.1.0 stratum 10
（2）啟動ntp服務
service ntpd start
（3）開機自動啟動
chkconfig ntpd on
（4）客戶端同步時間
命令：
Vim /etc/ntp.conf
通過按鍵盤上的insert或是I鍵進入編輯模式，編輯完成后按一下Esc鍵然后按一下按Shift+：鍵，輸入wq，后回車就可以保存。輸入q！后回車則是放棄保存并退出.
在文件最后添加一行：
/15 * root ntpdate 192.168.27.35;hwclock -w

感謝你能夠認真閱讀完這篇文章，希望小編分享java中hadoop集群服務器如何安裝內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!