Apache Beam：在已构建的管道中跳过步骤

Question

有没有办法在已经构建的管道中有条件地跳过步骤？或者是管道建设是唯一控制哪些步骤运行的方法？

Answer 1

通常情况下，管道建设控制管道中将执行的转换。

但是，您可以想象一个单输入多输出ParDo，它将输入PCollection多路复用到输出PCollection之一。然后，通过选择将数据传递给哪个输出，您可以动态控制执行哪些步骤 - 没有任何输入的步骤可能不会执行和/或其执行可能无关紧要。

相关功能是“参数化管线”或“模板管线”。这是我们非常感兴趣并且正在积极努力的事情。