Eclipse远程调试spark-submit

我想对使用Windows中的命令提示符提交给Spark的应用程序执行远程调试。你可以帮我吗？Eclipse远程调试spark-submit

任何我可以提供Spark启动远程调试端口的地方。

2017-10-04 Vawani

？你想一步步检查流程吗？ –

我想用eclipse做一个远程DEBUG – Vawani

您可以随时使用Spark和Java/scala做Remote Debugging。如果你想检查与dataset与localmode然后你可以使用步调试器。看看Java Debugger以及它是如何工作的。

，如果你想使用Spark具体调试在Remotemode然后检查该链接已与循序渐进的过程非常好的例子。

为了调试驱动，你可以添加以下到您命令。然后将远程调试器设置为连接到您启动驱动程序的节点。

--driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005

您可以根据自己的需要定制port。在这种情况下，请在侦听模式下启动您的调试器，然后启动您的Spark程序并等待执行程序附加到您的调试器。将执行程序的数量设置为1或多个执行程序都将尝试连接到您的debugger，这可能会导致问题，这一点很重要。检查上面的例子获取更多细节。

如果您正在使用jetbrains那么你可以用这个例子中，你要调试手段Spark remote debugging

2017-10-04 11:01:21

感谢Indrajit，** - driver-java-options -agentlib：jdwp = transport = dt_socket，server = y，suspend = y，addr ess = 5005 **为我工作。 – Vawani

回答