2017-03-09 74 views
0

有没有一种方法可以在集群模式下找到驱动程序映射到应用程序?Spark驱动应用程序映射(集群模式)

据我所知,在提交应用程序CreateSubmissionResponse将返回可用于监视或杀死驱动程序的驱动程序ID。我正在尝试查看是否有任何替代方法来存储驱动程序ID。

只见司机UI http://<driver>:4040这给根据环境部的申请信息,但火花文档中提到

“如果多个SparkContexts在同一台主机上运行时,它们会结合与4040开始连续港口( 4041,4042等)。“

这使得很难映射哪个驱动程序运行在哪个port上。

那么有没有办法让所有的驱动程序ID和他们的应用程序。

环境:带Zookeeper的Spark standalone作为集群管理器。

任何帮助表示赞赏!

感谢

回答

相关问题