溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章給大家分享的是有關Spark2.3.1使用技巧是什么樣的，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。
Spark 2.3.1 使用技巧Spark-SQL 讀取JSON文件時反射表頭case class StudentInfo(id:Long,name:String,age:Int)
val example = spark.read.json("/data/result.json").as(StudentInfo)
example.show()schema 在需要根據不同數據定義不同schema
val schemaInfo = "name age"
val fields = schemaInfo.map(item=> item.split(" ")
.map(item=>StructField(item,StringType,nullable=true))
val schema = StructType(fields)
val rowRDD = peopleRDD.map(_.split(" ").map(attributes=>Row(attributes(0),attributes(1))
val peopleDF = spark.createDataFrame(rowRDD,schema)
peopleDF.show()Spark 2.3.1 on YARNspark-submit 限制參數未生效因為在spark-submit時配置的executor-memory 2g等沒有生效，后來問同事說他也碰到這樣的問題，解決方案就是動態的分配executor
--conf spark.yarn.maxAppAttempts=1 --conf spark.dynamicAllocation.minExecutors=2 --conf spark.dynamicAllocation.maxExecutors=4 --conf spark.dynamicAllocation.initialExecutors=4
以上就是Spark2.3.1使用技巧是什么樣的，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
