有没有一种方法可以获取除跟踪日志文件的日志输出以外的Spark跟踪URL？

我有一个创建Spark会话的Scala应用程序，我设置了使用Spark REST API的健康检查。 Spark应用程序本身在Hadoop Yarn上运行。通过阅读Spark会话创建时生成的Spark日志记录，可以检索REST API URL。这在大多数情况下都能正常工作，但是在我的应用程序中有一些边界情况下效果不好。有谁知道另一种获取此跟踪网址的方法吗？有没有一种方法可以获取除跟踪日志文件的日志输出以外的Spark跟踪URL？

来源

2017-04-22 PJ Fanning

我提出了一个增强请求：https：//issues.apache.org/jira/browse/SPARK-20458 –

“您可以通过阅读从纱线的config的yarn.resourcemanager.webapp.address值和应用程序ID（其都在听者总线上发送的事件暴露，并且现有SparkContext方法做到这一点。”

原样复制从开发人员的回复发现在：https://issues.apache.org/jira/browse/SPARK-20458

来源

2018-03-05 20:30:14 vromancas

有没有一种方法可以获取除跟踪日志文件的日志输出以外的Spark跟踪URL？

回答

相关问题