我有一个将结果写入BigQuery表的Apache Beam/Dataflow管道。然后,我想查询这个表中管道的单独部分。然而,我似乎无法弄清楚如何正确设置这个管道依赖。我编写(然后想要查询)的新表格与一个单独的表格保持连接,用于某些过滤逻辑,这就是为什么我实际上需要编写表格并运行查询。逻辑将如下所示: with beam.Pipeline(options=pipeline_options) as
我正在迁移将FileBasedSink从2.0.0版扩展到2.2.0的自定义接收器。类已发生变化,增加了两个类型参数:UserT和DestinationT: @Experimental(value=FILESYSTEM)
public abstract class FileBasedSink<UserT,DestinationT,OutputT>
extends java.lang.Objec