2017-08-12 84 views
0

看起来目前为止,我们只能使用sideInputs来处理每个输入行时使用侧面输入的DoFnGoogle Cloud Dataflow(Apache Beam) - 我可以使用SideInputs和TextIO.write吗?

有什么方法可以利用输入与TextIO.Write? 在我的情况下,

outputTuple.get(deadletterTag) 
     .apply("Write to deadletter files", 
      TextIO.write().to(String.format("gs://dataflow-xxx/deadletter/%s/", uniqueID)) 
       .withSuffix(".csv") 
       .withHeader(csvHeader) 
     ).withSideInputs(csvHeaderView); 

我有一个CSV标题信息为PCollectionView<String>(通过使用Combine.globallyAsSingletonView在之前的过程中获得),并希望以某种方式提取头字符串,并将其分配到withHeader,但不知道如果有可能,因为没有ProcessContext出现。

谢谢。

回答

1

不幸的是,从Apache Beam 2.2.0及更早的版本开始并没有简单的方法。

我创建了BEAM-2771,它追踪可以启用此功能的一般功能。

+0

理解,这很伤心,但无论如何非常感谢你的答案! –

相关问题