亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

spark中怎么自定義分區

發布時間:2021-07-22 14:48:23 來源:億速云 閱讀:163 作者:Leah 欄目:云計算

今天就跟大家聊聊有關spark中怎么自定義分區,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。

實現的功能是根據key值的最后一位數字,寫到不同的文件

例如:

10寫入到part-00000

11寫入到part-00001

.

.

.

19寫入到part-00009

給讀者提供一個自定義分區的思路

import org.apache.spark.{Partitioner, SparkContext, SparkConf}

//自定義分區類,需繼承Partitioner類
class UsridPartitioner(numParts:Int) extends Partitioner{
  //覆蓋分區數
  override def numPartitions: Int = numParts
  
  //覆蓋分區號獲取函數
  override def getPartition(key: Any): Int = {
    key.toString.toInt%10
  }
}

object Test {
  def main(args: Array[String]) {
    val conf=new SparkConf()
    val sc=new SparkContext(conf)

    //模擬5個分區的數據
    val data=sc.parallelize(1 to 10,5)
    
    //根據尾號轉變為10個分區,分寫到10個文件
    data.map((_,1)).partitionBy(new UsridPartitioner(10)).saveAsTextFile("/chenm/partition")
  }
}

看完上述內容,你們對spark中怎么自定義分區有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

望都县| 镇远县| 元朗区| 阿拉尔市| 那坡县| 北宁市| 邹平县| 乌鲁木齐县| 无锡市| 盐津县| 红桥区| 上饶市| 苍梧县| 大方县| 绥德县| 罗平县| 米泉市| 岚皋县| 宁明县| 梅州市| 武陟县| 永康市| 张北县| 石渠县| 德兴市| 临泽县| 沅江市| 尚义县| 文登市| 阳泉市| 福州市| 新竹市| 麻城市| 白朗县| 泰来县| 义马市| 襄城县| 台州市| 五常市| 鄂伦春自治旗| 绵竹市|