我在ec2集群上运行spark工作,我有一个定期提交作业的触发器。如果一个作业已经在群集上运行,我不想提交作业。有没有可以提供这些信息的API?如何在集群上运行spark工作远程了解如何在集群上运行spark工作
1
A
回答
1
星火,并推而广之,星火流提供在http://<host>:4040/api/v1
操作REST API咨询当前应用程序的状态会给你所寻找的信息。
检查文档:https://spark.apache.org/docs/2.1.0/monitoring.html#rest-api
0
可以咨询UI看状态 如。 如果您在本地运行,请查看localhost:4040
相关问题
- 1. 如何在Spark集群上运行Spring引导应用程序
- 2. 在hadoop集群上安装spark集群
- 3. 如何在PC群集上运行VMWare?
- 4. 多节点火花集群上的spark-shell无法在远程工作节点上运行sponser execution
- 5. 在群集上运行速度非常慢的Spark程序
- 6. 无法在Spark 1.4.1b群集上启动spark-shell群集
- 7. Spark Streaming:mapWithState函数如何在集群中工作?
- 8. 在YARN上运行时,Spark调度程序池如何工作?
- 9. 如何在10个节点集群上运行Spark SqlSql数据库
- 10. 如何在Mesos上运行Spark Spark shell?
- 11. weblogic集群如何工作?
- 12. Spark Streaming:在集群模式下运行时无法收集()DStream
- 13. java.lang.NoClassDefFoundError:上运行Hadoop集群
- 14. Mongrel群集在Windows上并行运行
- 15. 如何在群集模式下运行spark,但是在本地执行文件?
- 16. apache spark集群
- 17. 如何在运行时交换服务器群集和群集
- 18. Spark集群 - 在hadoop上读写
- 19. 在现有Hadoop集群上安装Spark
- 20. 集群模式SPARK拒绝同时运行两个以上的作业
- 21. 在Spark独立群集中运行带有多名工作人员的分布式Spark Job Server
- 22. 在HighAvailability上运行Hadoop集群上的Spark-submit时出现异常
- 23. 从运行在Mesos上的应用程序中的Spark提交DCOS群集
- 24. 单节点群集在多节点群集上工作?
- 25. 在群集上运行大量任务
- 26. 在Hadoop集群上运行Mahout
- 27. 在Hadoop集群上运行mapreduce jar
- 28. 在集群上运行Matlab代码
- 29. 远程连接到Spark群集
- 30. Scala Spark连接到远程集群