使用Apache Beam执行shell脚本

Question

假设我有一个存储在GCS桶中的shell脚本。是否可以使用Apache Beam执行它？如果是，那么如何？ 我目前还没有尝试过任何东西，因为我在Apache Beam或Dataflow的文档中找不到任何此类内容。所以只想知道我必须采取什么方法。 谢谢。

Answer 1

想要从DoFn之类的东西执行整个shell脚本有点奇怪。这是你想要做的吗？你想为PCollection中的每个元素运行一次吗？

如果是这样，你会想要使用GCS API获取shell脚本的全部内容到一个字符串或字节数组，然后将其作为一个侧面输入传递到您的ParDo。

然后，您可以使用Python中的subprocess或Java中的ProcessBuilder这样的工具来执行它。

让我知道如果您需要更具体的东西，我们可以迭代解决方案。