centos6.5下部署用于生產的hadoop，并使用C語言API連接hadoop

#####

####安裝hadoop2.6.0完全分布式集群

#####

####文件及系統版本：

####

hadoop-2.6.0

Java version 1.8.0_77

centos 64位

####預備

####

在/home/hadoop/下：mkdir Cloud

把java和hadoop安裝包放在/home/hadoop/Cloud下

####配置靜態ip

####

master192.168.116.100

slave1192.168.116.110

slave2192.168.116.120

####修改機器相關名稱(都是在root權限下)

####

su root

vim /etc/hosts

在原信息下輸入：（空格+tab鍵）

192.168.116.100 master

192.168.116.110 slave1

192.168.116.120 slave2

vim /etc/hostname

master

shutdown -r now  (重啟機器)

vim /etc/hostname

slave1

shutdown -r now

vim /etc/hostname

slave2

shutdown -r now

####安裝openssh

####

su root

yum install openssh

ssh-keygen -t rsa

然后一直確認

把slave1和slave2的公鑰發給master：

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:~/.ssh/slave1.pub

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:~/.ssh/slave2.pub

在master下： cd .ssh/

cat id_rsa.pub >> authorized_keys

cat slave1.pub >> authorized_keys

cat slave2.pub >> authorized_keys

把公鑰包發給slave1和slave2：

scp authorized_keys hadoop@slave1:~/.ssh/

scp authorized_keys hadoop@slave2:~/.ssh/

ssh slave1

ssh slave2

ssh master

相應的輸入yes

到這里ssh無密碼登錄配置完成

####

####設計JAVA_HOME HADOOP_HOME

####

su root

vim /etc/profile

輸入：

export JAVA_HOME=/home/hadoop/Cloud/jdk1.8.0_77

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/home/hadoop/Cloud/hadoop-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后source /etc/profile

（三臺都要配置）

####

####配置hadoop文件

####

在/home/hadoop/Cloud/hadoop-2.6.0/sbin下：

vim hadoop-daemon.sh

修改pid的路徑

vim yarn-daemon.sh

修改pid的路徑

在/home/hadoop/Cloud/hadoop-2.6.0/etc下:

vim slaves 輸入：

master

slave1

slave2

vim hadoop-env.sh 輸入：

export JAVA_HOME=/home/hadoop/Cloud/jdk1.8.0_77

export HADOOP_HOME_WARN_SUPPRESS="TRUE"

vim core-site.xml 輸入：

###############################################core

<configuration>

 <property>

<name>io.native.lib.avaliable</name>

<value>true</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

<final>true</final>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/Cloud/workspace/temp</value>

</property>

</configuration>

#################################################core

vim  hdfs-site.xml

######################################################hdfs

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/Cloud/workspace/hdfs/data</value>

<final>true</final>

</property>

<property>

<name>dfs.namenode.dir</name>

<value>/home/hadoop/Cloud/workspace/hdfs/name</value>

</property>

<property>

<name>dfs.datanode.dir</name>

<value>/home/hadoop/Cloud/workspace/hdfs/data</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

</configuration>

#######################################################hdfs

vim mapred-site.xml

######################################mapred

<configuration>

<property>

   <name>mapred.job.tracker</name>

      <value>master:9001</value>

        </property>

</configuration>

######################################mapred

把配置好的hadoop發送到slave1和slave2

scp -r hadoop-2.6.0 hadoop@slave1:~/Cloud/

scp -r hadoop-2.6.0 hadoop@slave2:~/Cloud/

把Java包發到slave1和slave2：

scp -r jdk1.8.0_77 hadoop@slave1:~/Cloud/

scp -r jdk1.8.0_77 hadoop@slave2:~/Cloud/

到這里,hadoop集群配置完成

########

########現在可以啟動hadoop

########

首先格式化namenode

hadoop namenode -format   （由于前面設計了hadoop-env.sh和系統環境，所以在任意目錄下都可以執行） 

查看日志沒錯的話往下

start-all.sh

然后

完整的的話通過jps查看：

[hadoop@master ~]$ jps

42306 ResourceManager

42407 NodeManager

42151 SecondaryNameNode

41880 NameNode

41979 DataNode

[hadoop@slave1 ~]$ jps

21033 NodeManager

20926 DataNode

[hadoop@slave2 ~]$ jps

20568 NodeManager

20462 DataNode

至此，hadoop-2.6.0完全分布式配置完成。

下面是hadoop的瀏覽器端口號：

localhost:50070

localhost:8088

########

########配置C的API連接HDFS

########

find / -name libhdfs.so.0.0.0

vi /etc/ld.so.conf

寫入：

/home/hadoop/Cloud/hadoop-2.6.0/lib/native/

/home/hadoop/Cloud/jdk1.8.0_77/jre/lib/amd64/server/

然后設計啟動加載：

/sbin/ldconfig –v

接著配置環境變量：

查找并打印:

find /home/hadoop/Cloud/hadoop-2.6.0/share/ -name *.jar|awk '{ printf("export CLASSPATH=%s:$CLASSPATH\n", $0); }'

會看到打印的內容如：

export CLASSPATH=/home/hadoop/Cloud/hadoop-2.6.0/share/hadoop/common/lib/activation-1.1.jar:$CLASSPATH

export CLASSPATH=/home/hadoop/Cloud/hadoop-2.6.0/share/hadoop/common/lib/jsch-0.1.42.jar:$CLASSPATH

。。。。。。

把打印的全部內容添加到環境變量vim /etc/profile

然后編寫C語言代碼驗證是否配置成功：

vim above_sample.c

代碼內容如下：

#################################################################################

#include"hdfs.h"

#include<stdio.h>

#include<stdlib.h>

#include<string.h>

 int main(int argc, char **argv) {

       hdfsFS fs =hdfsConnect("192.168.116.100", 9000); //在這里做了一點修改

        const char* writePath ="/tmp/testfile.txt";

        hdfsFile writeFile = hdfsOpenFile(fs,writePath, O_WRONLY|O_CREAT, 0, 0, 0);

        if(!writeFile) {

              fprintf(stderr, "Failed toopen %s for writing!\n", writePath);

              exit(-1);

        }

        char* buffer = "Hello,World!";

        tSize num_written_bytes = hdfsWrite(fs,writeFile, (void*)buffer, strlen(buffer)+1);

        if (hdfsFlush(fs, writeFile)) {

               fprintf(stderr, "Failed to'flush' %s\n", writePath);

              exit(-1);

        }

        hdfsCloseFile(fs, writeFile);

    }

###############################################################################

編譯C語言代碼：

gcc above_sample.c -I /home/hadoop/Cloud/hadoop-2.6.0/include/ -L /home/hadoop/Cloud/hadoop-2.6.0/lib/native/ -lhdfs /home/hadoop/Cloud/jdk1.8.0_77/jre/lib/amd64/server/libjvm.so -o above_sample

執行編譯完成生成的above_sample文件：

./above_sample

查看日志和hadoop文件目錄是否生成了testfile文件

至此，C語言的API連接HDFS配置完成

#########

#######集群的文件操作

########

###（自動分發腳本）auto.sh

vim auto.sh

chmod +x auto.sh

./auto.sh jdk1.8.0_77 ~/Cloud/

自動分發腳本

############################

#!/bin/bash

nodes=(slave1 slave2)

num=${#nodes[@]}

file=$1

dst_path=$2

for((i=0;i<${num};i++));do

scp -r ${file} ${nodes[i]}:${dst_path};

done;

####################

#####
#####hadoop-2.6.0完全分布式集群基本操作
#####


hdfs dfs -mkdir /input
echo "hello hadoop" > test1.txt

把當前目錄的所有文件導入hdfs的in目錄：
hadoop dfs -put / in

hadoop dfs -ls /in/*
hadoop dfs -cp /in/test1.txt /in/test1.txt.bak
hadoop dfs -ls /in/*
hadoop dfs -rm /in/test1.txt.bak
mkdir dir_from_hdfs

從hdfs下載目錄in中的全部文件放到dir_from_hdfs中：
hadoop dfs -get /in/* /dir_from_hdfs

cd /home/hadoop/Cloud/hadoop-1.2.1

以空格為分隔，統計in目錄中的所有文本文件的單詞數目（注意output/wordcount目錄不可以為存在的目錄）：
hadoop jar hadoop-examples-2.6.0.jar wordcount in /output/wordcount 
查看統計結果：
hadoop fs -cat output/wordcount/part-r-00000


####
####管理
####

1.集群相關管理：
edit log：修改日志，當文件系統客戶端client進行寫操作的時候，我們就要把這條記錄放在修改日志中。在記錄了修改日志后，NameNode則修改內存中的數據結構。每次寫操作成功之前，edit log都會同步到文件系統中
fsp_w_picpath：命名空間鏡像，它是內存中的元數據在硬盤上的checkpoint。當NameNode失敗的時候，最新的checkpoint的元數據信息就會從fsp_w_picpath加載到內存中，然后注意重新執行修改日志中的操作。而Secondary NameNode就是用來幫助元數據節點將內存中的元數據信息checkpoint到硬盤上的。

2.集群屬性：
優點：
1）能夠處理超大的文件；
2）流式訪問數據。HDFS能夠很好的處理“一次寫入，多次讀寫”的任務。也就是說，一個數據集一旦生成了，就會被復制到不同的存儲節點中，然后響應各種各樣的數據分析任務請求。在多數情況下，分析任務都會涉及到數據集中的大部分數據。所以，HDFS請求讀取整個數據集要比讀取一條記錄更加高效。

缺點：
1）不適合低延遲數據訪問：HDFS是為了處理大型數據集分析任務的，主要是為達到大數據分析，所以延遲時間可能會較高。
2）無法高效存儲大量小文件：因為Namenode把文件系統的元數據放置在內存中，所以文件系統所能容納的文件數目是由Namenode的內存大小來決定。
3）不支持多用戶寫入以及任意修改文件：在HDFS的一個文件中只有一個寫入者，而且寫操作只能在文件末尾完成，即只能執行追加操作。目前HDFS還不支持多個用戶對同一文件的寫操作，以及在文件任意位置進行修改。