谷歌云数据流Python - maxNumWorkers

Question

我想增加用Apache Beam的python SDK构建的数据流管道的工作人员数量，并且我发现文档建议设置--maxNumWorkers=标志将足以增加超出最大数量的工作人员默认值是15.但是，当我将这个标志添加到管道选项时，它似乎不起作用。我回头看了文档here中记录的执行参数选项，并注意到maxNumWorkers未在Python“列出其他云管道选项”中列出，但出现在Java SDK中 - 这是Python包的一个已知限制吗？有没有其他选项我不考虑在python管道选项中设置maxNumWorkers？

注：我已经确认这是不是一个配额问题，我可以指定--num_workers=100但（我相信）不会使用自动缩放算法，因为它立即工人数量设置为100。

Answer 1

它看起来像在Python中一样，选项是--max_num_workers。