在火花数据集写入HDFS期间创建的空白部分

Question

尝试使用写入方法将数据集/数据帧保存为hdfs的拼图。 HDFS中的部分内容是空的，但数据为空。我使用的Spark版本 - 2.X

dataset.write.mode("append").partitionBy("empNo").format("parquet").save("hdfs path") 

或

dataset.write.mode(SaveMode.Overwrite).save("hdfs path") 

请建议

Answer 1

我只是检查它的数据帧。根据您的查询将它分成一列。在输出文件夹中创建了两个分区文件夹，并使用适当的值。

df.write.mode(SaveMode.Append) 
    .partitionBy("column_name") 
    .format("parquet") 
    .save("hdfs://namenode/output") 

我与星火1.6工作，所以不能与DataSet API检查：每个文件夹曾与扩展.gz.parquet

文件我用下面的命令。

我认为你的数据分区可能存在一些问题。有些分区可能是空的。你写的命令很好。