我在哪里可以设置spark.eventLog.enabled？

我想测试一下机器学习库Mllib的形式spark并在eclipse中设置一个依赖项的maven项目。当我尝试编译this示例时，出现以下异常：'ERROR SparkContext：初始化SparkContext时出错。我在哪里可以设置spark.eventLog.enabled？

ERROR SparkContext: Error initializing SparkContext. 
org.apache.spark.SparkException: A master URL must be set in your configuration 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:371) 
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2256) 
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:831) 
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:823) 
    at scala.Option.getOrElse(Option.scala:121) 
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:823) 
    at testing.JavaLogisticRegressionSummaryExample.main(JavaLogisticRegressionSummaryExample.java:33)

有建议设置spark.eventLog.enabled太虚假，但我在哪里设置此值？

来源

2016-08-13 A.Dumas

尝试JVM参数选项http://stackoverflow.com/questions/24481399/how-to-set-master-address-for-spark-1-x-examples-from-command-line –

谢谢为你的答案。添加参数后，我得到一个无法连接到myhost：7077 –

如果您在eclipse中作为java程序运行，那么您可以像下面那样设置主URL。当你创建一个具有依赖关系的jar并使用spar-submit在Spark中运行时，你可以在命令中传递主url。请参阅Spark文档。

SparkSession spark = SparkSession 
    .builder() 
    .appName("JavaLogisticRegressionSummaryExample") 
    .config("spark.sql.warehouse.dir", "/file:C:/temp")//workaround for issue https://issues.apache.org/jira/browse/SPARK-15899 
    .master("local[2]") 
    .getOrCreate();

来源

2016-08-13 09:25:35 abaghel

我在哪里可以设置spark.eventLog.enabled？

回答

相关问题