Http获取/张贴到数据流

Question

我试图将一些数据导入到数据流中，但数据不在云存储中 - 这是一个rss feed，我通常会每隔x个小时检查一次。有没有一种方法可以直接使用SDK，或者我必须首先以其他方式将文件存储到云存储中。

在此先感谢。

Answer 1

数据流不提供RSS源的来源。

虽然您可以从ParDo发出HTTP请求来获取数据。例如，假设提要允许您在某个时间范围内提取邮件。然后，您可以创建一个输入集合，其中每个记录表示一段时间（例如一个小时）。然后，您可以编写一个ParDo，它将获取该时间范围内的消息并发出它们。

如果您是流式早期访问预览的一部分，那么 一个解决方案就是编写一个App Engine应用程序（或同等产品），每隔X小时检查一次RSS源，然后使用Google Cloud PubSub发布数据。然后您可以使用PubSubIO来读取Dataflow中的这些事件。