您好,登錄后才能下訂單哦!
網上很多教程關于Hadoop-2.4包64位編碼的教程,最新版2.7.2幾乎相同,在此為大家復述一下。
分享兩個比較權威的附上鏈接:
Ubuntu用戶推薦參考: http://www.aboutyun.com/forum.php?mod=viewthread&tid=8130&extra=page%3D1&page=1
CentOs系列用戶參考:http://www.cnblogs.com/hadoop2015/p/4259899.html
1、前期工具準備:
(1) CentOS 并成功聯網 (注意:最好采用的是root角色編譯,減少文件夾權限出現問題。新手要注意命令問題:如Ubuntu使用apt-get ,CenOS使用yum的區別。)
(2) 源碼、JDK7 、 maven、 ant 、protobuf(具體每個插件的作用自行查閱資料)
一、安裝插件步驟:(都在root身份下操作,環境變量配置在 /etc/profile)
1、JDK解壓、配置環境變量 JAVA_HOME和PATH,驗證 java -version(如下都需要驗證是否配置成功)
2、Maven解壓、配置 MAVEN_HOME和PATH。
3、ant解壓、配置 ANT _HOME和PATH。
4、安裝 glibc-headers 和 g++ 命令如下:
$yum install glibc-headers
$ yum install gcc-c++
5、安裝make和cmake
$yum install make
$yum install cmake
6、解壓protobuf ,進入到解壓后protobuf主目錄,
然后相繼執行命令:
$ ./configure
$ make
$ make check
$ make install
$ ldconfig
修改環境變量LD_LIBRARY_PATH。驗證(命令:$protoc --version)
最后每次配置都要刷新配置/etc/profile文件:
$source /etc/profile
配置完附上 profile 關于配置的文件:
7、安裝openssl庫
$ yum install openssl-devel
8、安裝 ncurses-devel庫:
$yum install ncurses-devel
到此,編譯工具安裝基本完成。
二、 編譯階段:
開始maven指令,開始編譯hadoop 64位。
跳轉到解壓好的hadoop源碼文件夾里面主目錄(src目錄),執行:
$ mvn package -Pdist,native -DskipTests -Dtar
等待時間很長,最終成功是全部SUCCESS:
成功的64位hadoop包在 scr/hadoop-dist/target下。
3、遇到問題:
1、MAVEN install時候JVM內存溢出
處理方式:在環境配置文件和maven的執行文件均可調整MAVEN_OPT的heap大小。(詳情查閱MAVEN 編譯 JVM調優問題,如:http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method)
2、編譯期間maven報錯。可能網絡阻塞問題導致依賴庫下載不完整導致,多次執行命令(一次通過比較難):
$ mvn package -Pdist,native -DskipTests -Dtar
3、報ant、protobuf等錯誤,插件下載未完整或者插件版本問題,最開始鏈接有較多特殊情況,同時推薦
2.7.0版本的問題匯總帖子 http://www.tuicool.com/articles/IBn63qf
本人比較少寫整理博客,感謝about云社區,希望對大家有幫助。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。