0
有什么方法可以使用spark-mongo连接器来基于数据框中的某个字段来插入Mongo Collection吗?Spark scala使用spark-mongo连接器来插入
有什么方法可以使用spark-mongo连接器来基于数据框中的某个字段来插入Mongo Collection吗?Spark scala使用spark-mongo连接器来插入
由于MongoDB Connector for Spark版本1.1或更高版本(目前版本为2.2) 当你如下执行save()
:
dataFrameWriter.write.mongo()
dataFrameWriter.write.format("com.mongodb.spark.sql").save()
如果数据帧包含_id
领域,数据将是upserted。这意味着任何具有相同_id
值的现有文档都将被更新,并且集合中不存在_id
值的新文档将被插入。
另请参阅MongoDB Spark SQL了解更多信息和摘要。
谢谢,我希望有一种基于我的数据集中的另一个领域做到这一点的方法 –