阿帕奇星火：参考指针父RDD

Question

据我了解，SPARK保持一个RDD谱系信息。假设我有一个RDD“a”并使用了一些转换，我生成了一个新的RDD“b”。在这种情况下，“a”是“b”的父RDD。是否有可能通过引用父指针从RDD“b”中获取RDD“a”？

谢谢！

Answer 1

这取决于什么是真正的问题：

• 是 - 如果您例如延长RDD。对于大多数compute方法的实现来说这是必要的。
• 没有 - 依赖是不能公开访问，所以你不能从RDD的一个实例得到父母。