如何将火花中的熊猫数据框保存到amazon s3中？

Question

我想将熊猫数据框保存到s3存储桶中。 我尝试了一个已经被某人回答的问题。但是，它只是给了我一个错误，AttributeError: 'DataFrame' object has no attribute 'write'。

---

df.write.format("com.databricks.spark.csv").save("s3n://id:pw@bucket") 

---

任何想法？先谢谢你。

Answer 1

您使用的是版本1.3或更低版本？在这种情况下，你只需要调用save直接在数据帧，即

df.save(path="s3n://id:pw@bucket") 

Answer 2

一种方法是大熊猫数据帧转换成数据帧的火花，然后你可以使用火花CSV包保存文件。

df.write.format("com.databricks.spark.csv").save("s3n://id:pw@bucket") 

你可以看到这个answer。已提供类似的解决方案。