1
我想通过命令写在地板格式数据帧到NFS(网络文件系统):写拼花到NFS
df.write.mode('overwrite').parquet(OUTPUT_DIR)
它正常工作与HDFS但NFS,只有_temporary被创建并没有实际的实木复合地板文件被写入。工作成功,没有任何错误。 乔布斯writitn相同DF到HDFS和NFS,具有相同的日志OutputCommitter:
FileOutputCommitter: Saved output of task 'attempt_XXXX_0002_m_000000_0' to path_to_DF/_temporary/0/task_XXXX_0002_m_000000
SparkHadoopMapRedUtil: attempt_XXXX_0002_m_000000_0: Committed
Executor: Finished task 0.0 in stage 2.0 (TID X). 2707 bytes result sent to driver
感谢。
已经使用OUTPUT_DIR:file:/// path。 – Patel