Google DataFlow - 固定的工作人员数

Question

我在Google DataFlow中迈出了一步，我想从外部速率限制的API中提取数据。是否有办法在固定数量的工人之间平均分配数据以遵守比率限制？ （需要知道工人的数量，以便按照该数字划分费率限制）。

Answer 1

这个问题的答案取决于管道是否通过分批或流亚军运行：

批号：不直接控制这除了numWorkers和maxNumWorkers设置为需要的值。这将影响整个流水线，不仅仅是您想要限制速度的阶段

流式传输：UnboundedSource API可让您通过generateInitialSplits()调用精确指定所需的并行输入分割数。然后，每个分割都可以遵守自己的当地费率限制。