-3
我只是试图在本地Spark设置中执行Apache Beam示例代码。我生成了源文件并构建了this page中提到的包。并使用spark-submit如下提交罐子,当通过spark-submit提交时,Apache Beam作业挂起
$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
代码被提交并开始执行。但卡在步骤Evaluating ParMultiDo(ExtractWords)
。以下是提交作业后的日志。
我无法找到任何错误消息。有人可以帮助找到最新的错误?
编辑:我也用下面的命令,
~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
的工作,现在停留在INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)
尝试。附上下面的Spark历史记录& Dashboard的屏幕截图。仪表板显示作业正在运行,但完全没有进展。
Downvoters,有什么理由? –