Hadoop的單機環境搭建方法

這篇文章主要介紹“ Hadoop的單機環境搭建方法”，在日常操作中，相信很多人在 Hadoop的單機環境搭建方法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答” Hadoop的單機環境搭建方法”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

＃Hadoop環境#

##操作系統## 我用的是Mac，其實Mac系統也是Linux的一個分支，用RedHat,CenterOS,Ubuntu等都是一樣的。不建議在windows下安裝Hadoop

##安裝前提##

• Java

• SSH

##獲取Hadoop安裝包##

• 這個自己百度吧，我用的是hadoop-2.3.0

##將下載的hadoop安裝包用FTP工具上傳到Linux服務器的/usr/local目錄下

##解壓hadoop壓縮包

cd /usr/local/  
tar -zxvf hadoop-2.3.0.tar.gz

##設置環境變量

• vi /etc/profile

• 添加環境變量: export HADOOP_HOME=/usr/local/hadoop-2.3.0

• 將hadoop添加到PATH變量中: PATH = $HADOOP_HOME/bin:$PATH

• 使環境變量生效 : source /etc/profile

##修改Hadoop配置文件##

###修改hdfs-site.xml###

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

###修改core-site.xml

<configuration>
    <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
    </property>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop-2.3.0</value>
    </property>
</configuration>

###修改 mapred-site.xml

<configuration>
    <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
    </property>
</configuration>

###修改hadoop-env.sh

增加一行:(依照個人的Java安裝路徑填寫)

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home

##至此，hadoop的安裝和配置已經ok##

• 先格式化一下HDFS系統：

  hadoop namenode -format

• 然后我們可以啟動hadoop了

  cd /usr/local/hadoop-2.3.0/sbin
  ./start-all.sh

• 如果啟動時 沒有明顯的報錯，那么說明安裝成功了。

##驗證 hadoop fs -mkdir /d1 ＃創建的目錄 hadoop fs -ls / ＃查看根目錄

到此，關于“ Hadoop的單機環境搭建方法”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！