Spark结构化流媒体集成与Kinesis

Question

我想弄清楚Kinesis集成Spark结构化流媒体是否稳定。 AWS大数据博客几乎没有任何关于Kinesis和Spark Structured Streaming的博客。想知道你们中的任何人是否尝试过Spark Structured Streaming与Kinesis？如果是这样，你觉得它稳定？

Answer 1

现在没有包可以使用kinesis作为结构化流的源。 Databricks has it，但它并未与Spark一起发布。 有一个third party integration，但作为开发商所说的那样：“这只是一个原型，以检查可行性的室壁运动一体化”

作为一种变通方法，并根据您的要求，您可以创建一个“老好人”火花流/ kinesis集成，并将数据输出到文件夹。然后使用该folder as source进行结构化的流式处理。