使用docker进行谷歌云数据流依赖关系

Question

我有兴趣使用Google云数据流并行处理视频。我的工作同时使用OpenCV和tensorflow。是否有可能只是运行工人码头工人实例内部，而不是描述安装所有来自源的依赖关系：

https://cloud.google.com/dataflow/pipelines/dependencies-python

我本来期望一个标志泊坞窗的容器，这已经是坐在谷歌集装箱引擎。

Answer 1

无法修改或切换默认Dataflow工作容器。您需要根据文档安装依赖关系。

Answer 2

如果您拥有大量视频，无论如何您都必须承担大量启动费用。因此，网格计算的本质一般。

另一方面，您可以在作业下使用比n1-standard-1机器更大的机器，从而在较少的机器上分摊下载成本，如果处理过程可能会一次处理更多视频正确编码。