要在Spark中打開本地文件,可以使用spark.read.csv()
或spark.read.text()
等方法來讀取文件。以下是一個示例代碼:
from pyspark.sql import SparkSession
# 創建SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()
# 讀取CSV文件
df = spark.read.csv("file:///path/to/your/file.csv")
# 讀取文本文件
df = spark.read.text("file:///path/to/your/file.txt")
請注意,需要將文件路徑指定為file://
開頭,以便Spark能夠識別為本地文件。