您好,登錄后才能下訂單哦!
本篇內容主要講解“怎么配置Hadoop單機模式并運行Wordcount”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“怎么配置Hadoop單機模式并運行Wordcount”吧!
2.安裝rsync
我們的Ubuntu 12.10版本默認安裝了rsync,我們可以通過以下命令來安裝或者更新rsync
3.安裝hadoop,家林把下載下來的最新穩定版本的hadoop保存在電腦本地的以下位置:
創建/usr/local/hadoop目錄并把下載下來的Hadoop解壓/usr/local/hadoop中:
4.在hadoop-env.sh配置Java安裝信息.
進入/usr/local/Hadoop/Hadoop-1.2.1/conf
打開hadoop-env.sh:
按下回車即可進入該配置文件:
在前面我們安裝Java的時候把Java安裝在了“/usr/lib/java/jdk1.7.0_60”,此時我們在hadoop-env.sh配置文件加入如下配置信息
保存退出.
使用source命令使hadoop-env.sh配置信息生效:
此時Hadoop的單機模式配置成功!
為了方便我們在開機啟動后也可以立即使用Hadoop的bin目錄下的相關命令,可以把bin目錄配置到“~/.bashrc”文件中,此時開啟啟動后系統自動讀取“~/.bashrc”文件的內容,我就就可以隨時使用Hadoop的命令了:
修改后的文件內容:
保存退出,使用下面的命令使配置生效:
5.驗證Hadoop的版本信息,使用“hadoop version”命令即可:
6.運行Hadoop自帶的WordCount例子:
首先在hadoop的目錄下創建一個input目錄并把conf下的所有文件copy到該目錄下,需要如下命令即可:
使用hadoop命令運行自帶的wordcount程序并把結果輸出到output中:
運行過程如下:
一直運行知道完成(因為運行過程有些長,中間省略了一些運行過程,只截取了開始和結束部分):
查看運行結果:
該命令執行后即顯示出Wordcount運行input中若干個文件中單詞統計結果,如下所示(直截取了其中一部分):
單機模式的構建、配置和運行測試徹底成功!
到此,相信大家對“怎么配置Hadoop單機模式并運行Wordcount”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。