结构化流创建除火花元数据（Parquet）以外的任何其他文件

Question

我试图运行一个结构化的流应用程序，将输出文件作为拼块写入Google云存储。我没有看到任何错误。但它不会将文件写入GCS位置。我只能看到spark-metadata文件夹。任何想法如何我可以调试？

windowDuration = "60 minutes"; 
    slideDuration = "10 minutes"; 
    data_2 = complete_data; 
    data_2 = data_2.withColumn("creationDt", functions.to_timestamp(functions.from_unixtime(col(topics+"."+event_timestamp).divide(1000.0)))); 
    data_2 = data_2 
      .withWatermark("creationDt","1 minute") 
      .groupBy(col(topics+"."+keyField),functions.window(col("creationDt"), windowDuration, slideDuration),col(topics+"."+aggregateByField)) 
      .count(); 

    query_2 = data_2 
      .withColumn("startwindow", col("window.start")) 
      .withColumn("endwindow", col("window.end")) 
      .withColumn("endwindow_date", col("window.end").cast(DataTypes.DateType)) 
      .writeStream() 
      .format("parquet") 
      .partitionBy("endwindow_date") 
      .option("path",dataFile_2) 
      .option("truncate", "false") 
      .outputMode("append") 
      .option("checkpointLocation", checkpointFile_2).start(); 

query_2.awaitTermination（）

Answer 1

我相信这个问题是.outputMode("append")线。 GCS不是文件系统，不支持追加模式。

我猜测，这条线炸毁和异常是刚刚吞并了地方： https://github.com/GoogleCloudPlatform/bigdata-interop/blob/master/gcs/src/main/java/com/google/cloud/hadoop/fs/gcs/GoogleHadoopFileSystemBase.java#L1175