2017-03-09 72 views
-2

我有一个POJO值的RDD。我需要遍历RDD的值。但由于数据量巨大,我不想使用收集。在不使用collect的情况下在apache spark中迭代RDD

是否有任何替代方法来迭代RDD值而不使用collect。

+2

什么是你想实现什么?什么是最终目标?大多数RDD操作以某种方式“迭代”RDD。最基本的是'map',它为每个元素应用一个函数,并返回一个带有变换元素的新RDD。 – puhlen

+0

如果您尝试将POJO的RDD保存在持久性存储中,那么您也可以使用'map'功能。在这种情况下,您不必收集所有数据。但是,如果你能告诉你想要达到的目标会更好。 – himanshuIIITian

回答