在Google Cloud Dataflow中一次应用多个聚合

Question

我有一个键值对的PCollection，其中值为Double。 我需要计算值的总数及其平均值。

我看到有两个变换 - Count和Mean。但是我无法在GroupBy操作中找到同时应用它们的方法。

它看起来像我的选择是要么实现我自己的组合方法，将实现计数和平均，或分别应用计数和平均值，然后加入他们的原始密钥。

有没有第三种方法呢？

感谢， 摹

Answer 1

我会说，这样做的正确方法是写自己的DOFN和GroupByKey改造后使用它：

static class CountAndMean extends DoFn<KV<String, Iterator<Double>>, String> { 
    @Override 
    public void processElement(ProcessContext c) { 
     long count = 0L; 
     double sum = 0.0; 
     for(Double v: c.element().getValue()){ 
      sum += v.doubleValue(); 
      count += 1L; 
     } 
     double mean = sum/count; 
     String out = c.element().getKey() + "," + String.valueOf(mean) + "," + String.valueOf(count); 
     c.output(out); 
    } 

PCollection<KV<String, Double>> inCol = ... ; 
PCollection<KV<String, Iterable<Double>>> perKeyCol = inCol.apply(GroupByKey.<String, Double>create()); 
PCollection<String> outCol = perKeyCol.apply(ParDo.named("CountAndMean").of(new CountAndMean()));