覆盖使用pyspark

Question

我试图使用PySpark下列选项覆盖一个Spark数据帧的火花输出，但我不是成功的

spark_df.write.format('com.databricks.spark.csv').option("header", "true",mode='overwrite').save(self.output_file_path) 

模式=重写命令不成功

Answer 1

尝试：

spark_df.write.format('com.databricks.spark.csv') \ 
    .mode('overwrite').option("header", "true").save(self.output_file_path) 

Answer 2

星火1.4及以上有一个内置的CSV功能为dataframewriter

https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameWriter

例如

spark_df.write.csv(path=self.output_file_path, header="true", mode="overwrite")