我使用Spark Standalone Cluster,我想知道多少信息节点相互发送。我怎么测量它?如何测量Spark Standalone集群中节点之间的通信?
0
A
回答
0
您可能需要使用像zabbix这样的完整监控系统来收集所有节点的信息。
另外,如果您对节点之间发送数据的事实感兴趣,则可以查看驱动程序的UI(通常位于4040端口)。检查每个任务的本地化级别,如果您找到“ANY”,则表示可能在工作节点之间传输数据。
1
你可以监视像ganglia和nagios那样的工具。我个人认为我去神经节。
相关问题
- 1. 并非所有在Spark Standalone集群中使用的节点
- 2. StandAlone集群中的Spark Job-Server配置
- 3. 如何使用.NET在MSCS集群节点之间进行协调/通信
- 4. 。进程集群之间的网络点对点通信
- 5. Hadoop 2节点群集通信查询
- 6. 节点间通信
- 7. 如何从Spark群集作业中排除节点?
- 8. 两个节点之间的通信
- 9. 在Shuffle期间Spark节点如何通信?
- 10. 两个Cassandra节点之间的通信
- 11. 节点群集
- 12. Hadoop集群中的节点数量
- 13. 如何检测jMonkey中2个节点之间的交集
- 14. 确保rabbitmq群集节点通过ssl进行通信
- 15. Spark:如何获取群集点(KMeans)
- 16. 如何使用EMR使从属节点适用于Spark群集?
- 17. 使用现有的Apche-Spark Standalone群集进行Mesos配置
- 18. 如何处理Apache Spark中群集节点之间独立处理的不同图形文件?
- 19. 如何在更改群集中的节点数量之后恢复Cassandra shapshot
- 20. Spark集群中Worker节点上对象的早期初始化
- 21. spark serverserver不能在集群中的多个节点上启动
- 22. Python中的网络节点之间的无服务器通信
- 23. 如何保留共享节点集群中所有节点进程的变量?
- 24. 划分节点JS群集之间的快速路由
- 25. 如何在Play Framework for Java中的分布式集群中实现安全的节点间通信?
- 26. 单节点群集在多节点群集上工作?
- 27. 2节点的Cassandra集群
- 28. Hadoop的2节点集群
- 29. Docker群集节点无法检测群集中另一主机的服务
- 30. apache spark集群
看一看[这里](http://wiki.wireshark.org/CaptureSetup/Loopback)。 – 2014-11-01 00:22:51