0
有没有一种方法可以在集群模式下找到驱动程序映射到应用程序?Spark驱动应用程序映射(集群模式)
据我所知,在提交应用程序CreateSubmissionResponse
将返回可用于监视或杀死驱动程序的驱动程序ID。我正在尝试查看是否有任何替代方法来存储驱动程序ID。
只见司机UI http://<driver>:4040
这给根据环境部的申请信息,但火花文档中提到
“如果多个SparkContexts在同一台主机上运行时,它们会结合与4040开始连续港口( 4041,4042等)。“
这使得很难映射哪个驱动程序运行在哪个port
上。
那么有没有办法让所有的驱动程序ID和他们的应用程序。
环境:带Zookeeper的Spark standalone作为集群管理器。
任何帮助表示赞赏!
感谢