安排Google Cloud Dataflow作业的最简单方法

Question

我只需要每天运行一个数据流管道，但在我看来，像App Engine Cron Service这样需要构建整个Web应用程序的建议解决方案似乎有点太多了。 我在考虑从计算引擎Linux虚拟机中的cron作业运行管道，但也许这太简单了:)。这样做的问题是什么，为什么没有人（除了我猜测）暗示它？

Answer 1

使用cron作业启动数据流管道绝对没有错。我们一直为我们的生产系统做这件事，无论是我们的Java还是Python开发的管道。不过，我们正试图摆脱cron作业，并更多地转向使用AWS Lambdas（我们运行多云）或Cloud Functions。不幸的是，Cloud Functions don't have scheduling yet。 AWS Lambdas do。