2017-12-18 293 views
0

我想通过命令行提交一份pyspark作业到Google云端dataproc 这些是我的论点;gcloud dataproc作业传递属性参数提交pyspark

gcloud dataproc jobs submit pyspark --cluster mongo-load --properties org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 mongo_load.py 

我经常收到异常

--properties: Bad syntax for dict arg: [org.mongodb.spark:mongo-spark-connector_2.11:2.2.0] 

我尝试了一些从谷歌逃逸选项显示here但似乎没有任何工作。

回答

0

想通了,我只需要通过

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 
相关问题