您好,登錄后才能下訂單哦!
如何進行spark SQL編程動手實戰,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。
首先創建SparkContext上下文:
接著引入隱身轉換,用于把RDD轉成SchemaRDD:
接下來要加載數據,這里的測試數據是user.txt文件:
我們創建好use.txt增加內容并上傳到hdfs中:
hdfs命令查詢:
驗證數據是否加載成功:
此刻user還是一個MappedRDD:
此刻的teenagers已經隱身轉換成SchemaRDD
結果:
同樣使用"user.txt"的數據:
我們這次直接使用SQL查詢操作:
可以發現使用DSL的使用teenagers在內部已經被隱身轉換了SchemaRDD的實例
可以發現與前面那張注冊Table方式的結果是一樣的
看完上述內容,你們掌握如何進行spark SQL編程動手實戰的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。