Spark驱动程序无法在群集中启动

我正在使用SparkLauncher〜将任务提交给Spark群集，SparkLauncher将在其中一个工作节点上启动Spark驱动程序。但驱动程序启动总是失败，这种异常出现16次：Spark驱动程序无法在群集中启动

level="WARN",threadName="main",logger="org.apache.spark.util.Utils",message="Service 'Driver' could not bind on port 0. Attempting port 1."

有没有人有任何想法？

来源

2016-04-29 K P

端口号看起来不正确，您可以通过spark.driver.port – tesnik03

更改端口号后，我把这个值随机端口，它的工作。谢谢！奇怪的是，根据https://spark.apache.org/docs/latest/configuration.html“spark.driver.port \t（随机）”应该是随机的，但它一直在选择0.我没有设置它当然。你可以添加你的评论作为答案，以便它可以被接受？ –

已添加，谢谢！ – tesnik03

他端口号看上去不正确，则可以通过spark.driver.port改变

来源

2016-04-29 11:13:38 tesnik03

我终于想通了。如果你从启动作业的机器上设置环境变量SPARK_LOCAL_IP = 0.0.0.0，它似乎可以解决它。根据文档，它将选择一个随机端口让驱动程序在集群中的任何工作节点上运行。根据@yyny的评论，如果你想修复驱动程序的端口，你可以使用“spark.driver.port”。

来源

2016-04-29 19:24:19

不错，多数民众赞成！ – tesnik03

你能接受我的回答吗？ –

其实我无法做到，因为这是你自己的答案，但我给了你一个答案。 – tesnik03

Spark驱动程序无法在群集中启动

回答

相关问题