Spark03中廣播變量和累加器的代碼怎么寫

今天就跟大家聊聊有關Spark03中廣播變量和累加器的代碼怎么寫，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

廣播變量scala代碼

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local")
    conf.setAppName("Spark07")
    val sc = new SparkContext(conf)
    //累加器在Driver端定義賦初始值，累加器只能在Driver端讀取，在driver、Excutor端更新，
    var sum = sc.accumulator(0)
    val rdd: RDD[String] = sc.textFile("G:/idea/scala/spark02/words1")
    sum.add(1)
    val result: RDD[String] = rdd.map(index=>{
      println("sum="+sum)
      sum.add(1)
      println(sum)
      index
    })
    result.foreach(println)
    println(sum)
  }

累加器scala代碼

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local")
    conf.setAppName("Spark07")
    val sc = new SparkContext(conf)
    //累加器在Driver端定義賦初始值，累加器只能在Driver端讀取，在driver、Excutor端更新，
    var sum = sc.accumulator(0)
    val rdd: RDD[String] = sc.textFile("G:/idea/scala/spark02/words1")
    sum.add(1)
    val result: RDD[String] = rdd.map(index=>{
      println("sum="+sum)
      sum.add(1)
      println(sum)
      index
    })
    result.foreach(println)
    println(sum)
  }

看完上述內容，你們對Spark03中廣播變量和累加器的代碼怎么寫有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。