指定由pyspark发布的jvm的选项

Question

pyspark脚本在启动连接到指定的jvm时使用的jvm选项的方式/位置？

我特别感兴趣的是指定jvm调试选项，例如

-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005 

谢谢。

Answer 1

pyspark使用bin/spark-class脚本来启动您在终端/控制台中看到的客户端。您可以将任何必要的选项附加到JAVA_OPTS：

JAVA_OPTS="$JAVA_OPTS -Xmx=2g -Xms=1g -agentlib:jdwp=transport=dt_socket,server=y..."