转弯列表到每个键的值列表火花

Question

我们需要高效的转换键/值对的大名单，像这样：

val providedData = List(
     (new Key("1"), new Val("one")), 
     (new Key("1"), new Val("un")), 
     (new Key("1"), new Val("ein")), 
     (new Key("2"), new Val("two")), 
     (new Key("2"), new Val("deux")), 
     (new Key("2"), new Val("zwei")) 
) 

到每个关键值的列表，这样：

val expectedData = List(
    (new Key("1"), List(
    new Val("one"), 
    new Val("un"), 
    new Val("ein"))), 
    (new Key("2"), List(
    new Val("two"), 
    new Val("deux"), 
    new Val("zwei"))) 
) 

的关键值对是从一个大的键/值存储（Accumulo），所以各键将被排序，但通常将横火花分区边界。每个密钥可以有数百万个密钥和数百个值。

我认为这个工作的正确工具是spark的combineByKey操作，但一直只能找到带泛型类型（比如Int）的简洁示例，我一直无法推广到用户定义的类型，比如上面。

因为我怀疑许多其他人会有同样的问题，我希望有人可以提供完全指定（详细）和scala语法的例子，用于使用combineByKey与上面的用户定义类型，或可能点找出我错过的更好的工具。

Answer 1

我不是一个真正的星火专家，但基于this question，我认为你可以做到以下几点：

val rdd = sc.parallelize(providedData) 

rdd.combineByKey(
    // createCombiner: add first value to a list 
    (x: Val) => List(x), 
    // mergeValue: add new value to existing list 
    (acc: List[Val], x) => x :: acc, 
    // mergeCominber: combine the 2 lists 
    (acc1: List[Val], acc2: List[Val]) => acc1 ::: acc2 
) 

使用aggregateByKey：

rdd.aggregateByKey(List[Val]())(
    (acc, x) => x :: acc, 
    (acc1, acc2) => acc1 ::: acc2 
)