2017-08-01 86 views
-3

我只是试图在本地Spark设置中执行Apache Beam示例代码。我生成了源文件并构建了this page中提到的包。并使用spark-submit如下提交罐子,当通过spark-submit提交时,Apache Beam作业挂起

$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts 

代码被提交并开始执行。但卡在步骤Evaluating ParMultiDo(ExtractWords)。以下是提交作业后的日志。

我无法找到任何错误消息。有人可以帮助找到最新的错误?

编辑:我也用下面的命令,

~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts 

的工作,现在停留在INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)尝试。附上下面的Spark历史记录& Dashboard的屏幕截图。仪表板显示作业正在运行,但完全没有进展。

enter image description here enter image description here

+0

Downvoters,有什么理由? –

回答

0

这仅仅是一个版本的问题。我能够在Spark 1.6.3中运行这项工作。感谢所有那些没有解释就投下了这个问题的人。