Spark-SQL的基本使用方法

這篇文章主要介紹“Spark-SQL的基本使用方法”，在日常操作中，相信很多人在Spark-SQL的基本使用方法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Spark-SQL的基本使用方法”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

官方文檔地址http://spark.apache.org/docs/latest/sql-getting-started.html
官方提供的測試數據文件http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
解壓當前文件夾examples/src/main/resources
##SparkSession
通過SparkSession.builder()創建

import org.apache.spark.sql.SparkSessionval spark = SparkSession  .builder()  .appName("Spark SQL basic example")  .config("spark.some.config.option", "some-value")  .getOrCreate()// For implicit conversions like converting RDDs to DataFramesimport spark.implicits._

讀取json文件

package cn.bx.sparkimport org.apache.spark.sql.{DataFrame, SparkSession}object SparkSessionApp {  def main(args: Array[String]): Unit = {    val spark: SparkSession = SparkSession.builder().appName("SparkSessionApp").master("local[*]").getOrCreate()    val people: DataFrame = spark.read.json("resources/people.json")    people.show()    spark.stop()  }}

打印結果

+----+-------+| age|   name|+----+-------+|null|Michael||  30|   Andy||  19| Justin|+----+-------+

到此，關于“Spark-SQL的基本使用方法”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！