大數據入門——搭建Hadoop處理環境

由于Hadoop需要運行在Linux環境中，而且是分布式的，因此個人學習只能裝虛擬機，本文都以VMware Workstation為準，安裝CentOS7，具體的安裝此處不作過多介紹，只作需要用到的知識介紹。

VMware的安裝，裝好一個虛擬機后利用復制虛擬機的方式創建后面幾個虛擬機，省時省力，需要注意的是需要修改每個虛擬機的IP與主機名。

所有虛擬機采用NAT模式上網，而且要保證與物理主機的IP互相能訪問。

需要注意的幾個問題。nat如果上網首先需要查看物理機(pc機)這個服務器已經啟動。上網的原理：流量是走的物理網卡，但是它的ip,卻是和物理機沒有關系的。也就是說，無論你怎么更換網絡環境，你的虛擬機都不需要做改變。這就是它的優點。

首先在安裝VMware 之后，我們會看到多了兩個網卡

這個如果經過網絡配置的折磨，應該能找到著兩個網卡：vmnet1和vmnet8，這里講的是vmnet8。

重點看右側第三圖你會看到ip地址，這個ip地址，因個人而異，也就是說不同網絡，不同環境，這個ip變化的概率是很大的。可能是192.168.0.1等等。這里也相當于我們編程的一個變量，這里是需要你根據你的環境來賦值的，建議vmnet1到vmnet8分別設置192.168.10.1到192.168.80.1，好作區分。

上面我們通過看到的虛擬機網卡的ip，為了避免混肴，上面的虛擬網卡和本地網絡適配器處于同一界面。如下圖：

而下面則是在打開虛擬機之后，通過菜單彈出

彈出之后，我們在看一下虛擬機的(交換機)vmnet8.

可以看到vmnet8子網ip和虛擬機網卡是出于同一個網段的。

同時在右側net設置界面，我們可以看到網關為：192.168.106.2，改成192.168.80.2 虛擬機的設置會用到。

Linux基礎知識

Linux的學習也是一個過程，因為可能你連最簡單的開機和關機命令都不會，更不要談配置網絡。這里面給大家提供剛開始學習所查閱的資料和經驗總結。

首先我們需要使用一些命令，進行網絡配置，但是在網絡配置中，這里面又必須懂得虛擬機的一些知識，所以前面的虛擬機知識需要掌握扎實一些。

在此注意CentOS7與CentOS6的命令有些不同，會一些常用命令是必備，每次開機或啟動解壓安裝授權都是最基本的知識，其它的可以暫時不用學。

CentOS中安裝java環境

下載對應32或64位jdk，設置好JDK環境變量PATH，具體的配置可自行Google。

環境準備

修改機器名,每個系統中都要修改成這樣。

打開終端，切換到root用戶下修改機器名稱。

$ sudo su

$ vim /etc/sysconfig/network

在其中添加“HOSTNAME=H32”

添加每個服務器IP對應的機器名

三個ip地址都添加到各自的/etc/hosts文件中

每個系統中都要修改成這樣

#編輯hosts

vim /etc/hosts

關閉SELinux

#編輯 SELinux 配置文件

vim /etc/selinux/config

#改狀態

SELINUX=disabled

SSH設置

進入H30，查看ssh是否安裝,如果有，繼續，沒有安裝下。

rpm -qa|grep ssh

時間服務器安裝

這里需要安裝時間服務器，其他的服務器通過這個來進行多機器時間的同步，分布式部署時機器時間不一致會導致數據錯誤或組件內通訊錯誤。

安裝httpd服務

httpd是Apache超文本傳輸協議(HTTP)服務器的主程序。被設計為一個獨立運行的后臺進程，它會建立一個處理請求的子進程或線程的池。

安裝yum-utils

yum install yum-utils 用于在線yum安裝 它是基於RPM包管理，能夠從指定的服務器自動下載RPM包并且安裝，可以自動處理依賴性關系，并且一次安裝所有依賴的軟體包，無須繁瑣地一次次下載、安裝。yum提供了查找、安裝、刪除某一個、一組甚至全部軟件包的命令，而且命令簡潔而又好記。(需要機器能訪問外網)

準備資源和環境

下載Centos 7.2 的iso安裝鏡像，jdk1.8 for Linux壓縮包，hadoop2.7.3壓縮包(本來用hadoop3，發現后面不兼容hive的最新版本)

Java基礎知識

由于Hadoop框架源碼都是以Java來寫，因此最好都以Java作為開發的最佳語言，雖然說有些用C#做了封裝，但性能已大打折扣。(這就是為什么說Java的學大數據有很大的優勢，其它語言的還需要重新學習Java)

Eclipse IDE使用

Linux和Windows下源碼編譯技術

還有最重要的是你的網速要好，因為安裝過程中會下載依賴包，網不好會卡到你懷疑人生。

最后還需要有耐心，每臺機子的環境都不一樣，而且每個人下載的包的版本也有可能不一樣 會導致各種問題，此時就需要耐心的去看日志，不停的嘗試和仔細的對比安裝步驟，可能就是少了個變量 或大小寫錯誤或是要重啟。

為了幫助大家讓學習變得輕松、高效，給大家免費分享一大批資料，幫助大家在成為大數據工程師，乃至架構師的路上披荊斬棘。在這里給大家推薦一個大數據學習交流圈：658558542 歡迎大家進×××流討論，學習交流，共同進步。

當真正開始學習的時候難免不知道從哪入手，導致效率低下影響繼續學習的信心。

但最重要的是不知道哪些技術需要重點掌握，學習時頻繁踩坑，最終浪費大量時間，所以有有效資源還是很有必要的。

最后祝福所有遇到瓶疾且不知道怎么辦的大數據程序員們，祝福大家在往后的工作與面試中一切順利。