溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
在yarn模式下，會上傳jar包到yarn來執行spark程序，如果每次都上傳，很耗時間，而且如果是阿里云的機器，上傳很慢，180m的jar要上傳十幾分鐘，所以要提前上傳到hdfs中去。
spark支持如下幾個參數
spark.yarn.jars：只能指定具體jar包，在spark1.6.2（包括）以前，從官網上可以下載一個大的jar包，寫上這個jar包即可，但是在2.0過后，就成為了一大堆小包
spark.yarn.archive：這個支持文件夾，但是有一點要注意，
.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars")
.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars/")
只有第一種寫法正確，第二種錯誤，第二種寫法不會讀取任何jar包。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
