为什么地图变换很窄？

Question

我知道RDD的窄变换和宽变换之间的区别。我的问题是认证地图的参数是什么，平面地图很窄？为什么这些转变不是很广泛？有关RDD学习材料的任何建议，我们感谢。

Answer 1

Here is one explanation

- 窄依赖性：像图，工会RDD操作，过滤器可以在单个分区操作，并且该分区的数据映射到得到的单分区。这些将数据从一个分区映射到一个分区的操作称为窄操作。缩小的操作不需要跨分区分布数据。

- 宽依赖性：像groupByKey，distinct，join这样的RDD操作可能需要将数据映射到新RDD中的分区之间。这种将数据从一个分区映射到多个分区的操作被称为宽操作

另一种考虑它的方式是这样的。子RDD的任何行将仅取决于父RDD的1行。由于每个子行都可以指向它所依赖的父行，因此存在较窄的依赖关系。