如何从spark应用程序的代码监视/生成汇总的CPU/RAM利用率报告？

Question

我知道神经节可以用来监测像Spark这样的集群中的资源利用情况。但它会为我的申请提供一份总体报告。

但是，如果我想知道我的代码的特定部分使用了多少资源，有什么办法吗？

A 
My code 
B 

例如，我想知道从CPU/RAM利用率B.我可以计算出代码中运行时，即火花Java应用程序，但我不知道我怎样才能知道具体的该部分的资源利用率。我有一个想法，如果我能以某种方式在B生成一个报告（比如call api for ganglia report），它基本上可以显示我使用的资源。尽管在A之前它不会排除任何内容，但它现在仍然适用于我如果这种解决方案存在

预先感谢您。

Answer 1

显然新项目sparkoscope似乎在这方面工作，即从源代码级别进行监视。但是，他们的项目没有很好的文档记录，所以我很难将他们的项目放在工作岗位上。不过，这是一个开始。希望它能帮助像我这样的人。