溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
運行Spark例子程序是怎樣實現的，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。
下載并解壓Spark到指定目錄，如果沒有安裝JDK、Scala，需要先下載JDK、Scala到指定目錄，并設置SPKARK_HOME(JAVA_HOME、SCALA_HOME).
如果只是在單節點上運行Spark，無需啟動Spark，直接按『三、運行例子程序』運行即可。 如若需要在集群上運行Spark例子程序，需要先啟動Spark集群。將已經可以互相無密碼登陸的從節點名(或IP地址)加入到主節點的conf/slaves文件中，再將配置好的主節點的Spark的整個目錄拷貝到其他所有從節點。在直接運行啟動集群腳本:
./start-all.sh # 關閉集群 ./stop-all.sh
在單個節點上運行例子無需啟動集群：
./bin/run-example SparkPi 10 ./bin/run-example graphx.LiveJournalPageRank follower.txt --numEPart=2 # 運行Python的例子程序 ./bin/spark-submit examples/src/main/python/pi.py 10 ./bin/spark-submit examples/src/main/python/PageRank.py follower.txt 10
./bin/spark-submit --master spark://A281:7077 --class org.apache.spark.examples.graphx.LiveJournalPageRank lib/spark-examples-1.6.0-hadoop2.6.0.jar followers.txt --numEPart=2
關于運行Spark例子程序是怎樣實現的問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
