spark怎么通過jdbc方式連接關系型數據庫

本篇內容介紹了“spark怎么通過jdbc方式連接關系型數據庫”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

1 創建sparkSession對象

val sparkSession = SparkSession.builder().appName("findIPRel").getOrCreate()

2 jdbc鏈接創建DataFrame對象

    val jdbcDF = sparkSession.read
      .format("jdbc")
      .option("driver", "org.postgresql.Driver")  //必須添加
      .option("url", "jdbc:postgresql://121.36.61.51:5432/xsbigdatadb")
      .option("dbtable", "ods_proto_log")
      .option("user", "postgres")
      .option("password", "root@456")
      .load()

其中需要注意的是一定要加上對driver選項的指定，否則就算你的類路徑中含有對應數據庫的jdbc包，也會報找不到合適的驅動的錯誤。

3 通過dataFrame對象使用dsl方式對數據進行查詢

val ori = jdbcDF.select("srcip","dstip").rdd.map{
      case Row(col1:String,col2:String) => (col1,col2)
      case _ =>(srcIp,srcIp)
    }

4.其他

• maven中添加pg數據庫的jdbc報的依賴

        <dependency>
            <groupId>org.postgresql</groupId>
            <artifactId>postgresql</artifactId>
            <version>42.2.18</version>
        </dependency>

• spark提交指定依賴jar包 在提交命令中加上--jars選項，例如spark-submit --class com.pxu.spark.core.FindIpRel --jars ./postgresql-42.2.18.jar --master spark://master:7077 ./sparkLearn-1.0-SNAPSHOT-jar-with-dependencies.jar 192.168.14.17 192.168.73.58 4 hdfs://master:9000/submitTest/output/out3

“spark怎么通過jdbc方式連接關系型數據庫”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！