溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
對于Spark而言，如果大家只是想摸一下、熟悉熟悉而已，可以搭建單機的Spark，大致步驟如下（我使用VMWare下的Ubuntu 14.04，暫不考慮安全問題，在root下運行）：
1、安裝Ubuntu 14.04，注意裝好后需要禁用防火墻（ufw disable），安裝SSH 服務器，啟用root用戶
2、下載安裝JDK-1.8、scala 2.11.8（需要和spark的jar版本配合下，這個其實不是很必要，練習用）、spark、maven（build用，這里的scala版本需要和spark的一致，否則可能出現ClassNotDef異常）
3、在.profile中配置環境變量，如：
export SPARK_HOME=/root/spark-2.2.0-bin-hadoop2.7
export SPARK_LOCAL_HOST=192.168.162.132
export SPARK_MASTER_HOST=192.168.162.132
4、啟動spark：
$SPARK_HOME/sbin/start-master.sh
# 在單機情況下也必須啟動，否則沒有worker
$SPARK_HOME/sbin/start-slave.sh
5、使用maven編譯一個示例程序（當然sbt也可以）
6、提交你的測試程序，如下：
$SPARK_HOME/spark-submit --class "類名" --master spark://IP:Port 打包文件名
另外，注意的一點是需要在/etc/hosts和/etc/hostname中正確配置主機名，否則可能出現IOException
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
