怎么搭建Hadoop集群

小編給大家分享一下怎么搭建Hadoop集群，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

　　1、發行版本說明

　　Hadoop 發行版本分為開源社區版和商業版。社區版是指由 Apache 軟件基金會維護的版本，是官方維護的版本體系。 商業版 Hadoop 是指由第三方商業公司在社區版 Hadoop 基礎上進行了一些修改、整合以及各個服務組件兼容性測試而發行的版本，比較著名的有 cloudera的 CDH、mapR、hortonWorks 等。

　　我們等會要學習的是商業版：cloudera 的 CDH。如未說明都指 CDH版本。Hadoop 的版本很特殊，是由多條分支并行的發展著。大的來看分為3個大的系列版本：1.x、2.x、3.x。Hadoop1.0 由一個分布式文件系統 HDFS和一個離線計算框架 MapReduce 組成。

　　Hadoop 2.0 則包含一個支持 NameNode 橫向擴展的 HDFS，一個資源管理系統YARN 和一個運行在 YARN 上的離線計算框架 MapReduce。相比于 Hadoop1.0， Hadoop 2.0 功能更加強大，且具有更好的擴展性、性能，并支持多種計算框架。Hadoop 3.0 相比之前的 Hadoop 2.0 有一系列的功能增強。目前已經趨于穩定，但是整個生態圈體系升級整合還未完畢，所以商用還值得商榷。 我們要講的Hadoop集群搭建過程，使用的是當前 2 系列最穩定版本：CDH 2.6.0-CDH14.0。

　　2、Hadoop集群簡介

　　Hadoop集群具體來說包含兩個集群：HDFS 集群和 YARN 集群，兩者邏輯上分離，但物理上常在一起。HDFS集群負責海量數據的存儲，集群中的角色主要有：NameNode 、 DataNode 、 SecondaryNameNode。YARN 集群負責海量數據運算時的資源調度，集群中的角色主要有： ResourceManager、NodeManager。

　　那 mapreduce是什么呢?它其實是一個分布式運算編程框架，是應用程序開發包，由用戶按照編程規范進行程序開發，后打包運行在 HDFS 集群上，并且受到 YARN 集群的資源調度管理。Hadoop 部署方式分三種，Standalone mode(獨立模式)、Pseudo-Distributed mode(偽分布式模式)、Cluster mode(群集模式)，其中前兩種都是在單機部署。獨立模式又稱為單機模式，僅 1 個機器運行 1 個 java 進程，主要用于調試。偽分布模式也是在 1 個機器上運行 HDFS 的 NameNode 和 DataNode、YARN 的ResourceManger 和 NodeManager，但分別啟動單獨的 java 進程，主要用于調試。集群模式主要用于生產環境部署。會使用 N 臺主機組成一個 Hadoop 集群。這種部署模式下，主節點和從節點會分開部署在不同的機器上。我們以 3 節點為例進行搭建，角色分配如下：

　　node-01 NameNode DataNode ResourceManager

　　node-02 DataNode NodeManager SecondaryNameNode

　　node-03 DataNode NodeManager

　　3、服務器準備

　　本案例使用 VMware Workstation Pro 虛擬機創建虛擬服務器來搭建 HADOOP 集群，所用軟件及版本如下：

　　VMware Workstation Pro 12.0

　　Centos 6.9 64bit

　　4、網絡環境準備

　　采用 NAT 方式聯網。如果創建的是桌面版的 Centos 系統，可以在安裝完畢后通過圖形頁面進行編輯。如果是 mini 版本的，可通過編輯 ifcfg-eth*配置文件進行配置。 注意 BOOTPROTO、GATEWAY、NETMASK。

　　5、服務器系統設置

　　同步時間

　　#同步集群各機器時間

　　date -s "2019-03-03 03:03:03" yum install ntpdate

　　#網絡同步時間

　　ntpdate cn.pool.ntp.org

　　設置主機名

　　vi /etc/sysconfig/network NETWORKING=yes

　　HOSTNAME=node-1

　　配置 IP、主機名映射vi /etc/hosts

　　192.168.33.101 node-1

　　192.168.33.102 node-2

　　192.168.33.103 node-3

　　配置 ssh 免密登陸

　　#生成 ssh 免登陸密鑰

　　ssh-keygen -t rsa (四個回車)

　　執行完這個命令后，會生成 id_rsa(私鑰)、id_rsa.pub(公鑰)

　　將公鑰拷貝到要免密登陸的目標機器上

　　ssh-copy-id node-2

　　配置防火墻

　　#查看防火墻狀態

　　service iptables status

　　#關閉防火墻

　　service iptables stop

　　#查看防火墻開機啟動狀態

　　chkconfig iptables --list

　　#關閉防火墻開機啟動

　　chkconfig iptables off

　　6、JDK 環境安裝

　　#上傳 jdk 安裝包

　　jdk-8u65-linux-x64.tar.gz

　　#解壓安裝包

　　tar zxvf jdk-8u65-linux-x64.tar.gz

　　#配置環境變量 /etc/profile

　　export JAVA_HOME=/export/servers/jdk1.8.0_65

　　export PATH=$PATH:$JAVA_HOME/bin

　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

　　#刷新配置

　　source /etc/profile

以上是“怎么搭建Hadoop集群”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！