0
我有一个Spark应用程序，它在运行时基于数据集缓存RDD并执行操作。缓存中有多少RDD Spark
为了监控目的，我希望在应用程序运行时找出缓存中RDD的数量，Spark是否提供任何API来查找此详细信息？
A
回答
1
它可以使用Spark REST API它提供了两个端点：
/applications/[app-id]/storage/rdd- 所有存储RDDS的名单。/applications/[app-id]/storage/rdd/[rdd-id]- 特定RDD的详细信息。
+0
它在我的本地开发环境中工作。但在我的黄金/铂金环境中，spark线程服务器安装在纱线上:(是否有其他选择？ –
相关问题
- 1. Spark RDD缓存将走多远？
- 2. Spark：它将RDD保存在缓存中的时间有多长
- 3. 减少Spark RDD返回多个值
- 4. 上缓存RDD
- 5. 在Apache Spark中缓存RDD的目的是什么？
- 6. Apache Spark Rdd持续存在
- 7. 没有足够的空间在内存中缓存rdd警告
- 8. 在apache-spark RDD中处理多个'行'
- 9. 在Spark中使用多列RDD？
- 10. Spark采样 - 比使用完整RDD/DataFrame速度快多少
- 11. 高速缓存后“采取”行动RDD导致只有2％高速缓存
- 12. 在wordpress中缓存多少是太多
- 13. 其他RDD中的Java Spark RDD？
- 14. Spark RDD apend
- 15. Firebase Spark版本中有多少项目？
- 16. Spark Spark RDD中的字符串替换
- 17. 像Spark中现有的RDD一样分配新的RDD？
- 18. Spark SQL中的缓存表
- 19. 在Spark Streaming中缓存DStream
- 20. Spark-Scala：另存为csv文件（RDD）
- 21. Hbase Spark RDD JSON列
- 22. RDD到Dataframe Spark Couchbase
- 23. Spark scala RDD遍历
- 24. ASP.NET对象缓存 - 多少太多？
- 25. 在浏览器中缓存对象时，多少内存太多？
- 26. 在android中有多少缓存大小可用？
- 27. 在asp.net中有多少类型的缓存？
- 28. spark将spark-SQL转换为RDD API
- 29. 缓存查询性能Spark
- 30. Spark流缓存和转换
@ zero323。这个解决方案只适用于当我想在同一应用程序中获取缓存rdd。但我想在单独的程序/应用程序中找到缓存RDD。 –