执行器在Spark独立部署中失败

我在本地windows机器上运行spark。当我将master设置为本地时，它工作得很好，但是当我给它一个集群master uri时，它会为它启动的每个执行器引发以下异常。
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)

我试着在本地激发独立环境。所以我已经启动了一个主节点和工作节点，并将主网址提供给我的驱动程序。我确定我的SPARK_HOME环境变量设置为C:\Spark（我放置火花的位置）。

任何帮助解决这个问题，将不胜感激，谢谢。执行器在Spark独立部署中失败

来源

2017-10-05 Rakesh

你能分享确切的spark-submit命令吗？ –

spark-submit --class SparkApp --master spark：// {IP}：7077“D：\ work \ Examples \ SparkExample \ target \ SparkExample-0.0.1-SNAPSHOT.jar” – Rakesh

请将您的代码和spark-提交命令 –

我以某种方式设法找到了解决这个问题的方法。这个问题是由spark home的路径变量造成的，当我添加一个路径变量%SPARK_HOME%\bin时没有选择SPARK_HOME（环境变量）。然后我删除了该环境变量和路径变量，再次添加它们并重新启动我的系统。有效。

来源

2017-10-06 05:52:40 Rakesh

执行器在Spark独立部署中失败

回答

相关问题