在Spark中,可以通過以下方式創建和操作RDD:
val rdd = sc.parallelize(Array(1, 2, 3, 4, 5))
val rdd = sc.textFile("file.txt")
val newRdd = rdd.map(x => x * 2)
val result = rdd.reduce((x, y) => x + y)
持久化RDD:
可以通過persist方法將RDD持久化到內存或磁盤中,以便重復使用:rdd.persist()
關閉SparkContext:
在操作完成后,需要調用SparkContext的close方法來關閉SparkContext:sc.close()