Spark程序来监视执行程序的性能

Question

我正在开发一个监视每个执行程序性能的火花程序，例如当一个执行程序开始工作时以及完成其工作时标记。我正在考虑两种方式来做到这一点：

首先，开发程序，这样当执行程序开始工作时，它将当前时间标记为文件，当它结束时，将该时间标记为同一文件。最后，除了驱动程序机器之外，所有“日志”文件都将散布在整个集群网络中。其次，由于执行者会定期向驾驶员报告，每次驾驶员收到来自执行者的消息时，如果消息包含“开始”和“完成”信息，让驾驶员记录一切。

这可能吗？

Answer 1

有很多方法来监测执行性能和应用性能

最佳方式是星火的Web UI和其他监控工具的帮助下可用的开源（神经节）

需要监视监视您的应用程序，无论您的群集是否处于未充分利用状态，或者您创建的应用程序使用了多少资源。

监测可以使用各种工具完成，例如。神经节神经节从你可以找到CPU，内存和网络使用情况。基于对CPU和内存使用情况的观察，你可以得到一个更好的主意，需要什么样的调整，为您的应用程序

希望这有助于！ ...