在火花流中使用过滤器转换后，如何在函数中返回两个DStream？

Question

在函数中，有没有办法在使用filter后返回两个DStream？ 例如，当我过滤DStream时，已过滤的将存储在DStream中，未过滤的将存储在另一个DStream中。

Answer 1

这可以更有效的，如果它是内置的完成，但

def partition[A](stream: DStream[A])(pred: A => Boolean) { 
    val stream1 = stream.map(x => (x, pred(x)).cache() 
    val good = stream1.filter(_._2).map(_._1) 
    val bad = stream1.filter(!_._2).map(_._1) 
    (good, bad) 
} 

注cache()需要确保stream1只计算一次;如果pred足够简单，并且stream已被缓存，则只需(stream.filter(pred), stream.filter(x => !pred(x)))应该更快。