如何在Spark流应用程序中处理DynamoDB流

Question

我想从Spark Streaming应用程序中使用DynamoDB流。

Spark流使用KCL从Kinesis读取。有一个lib让KCL能够从DynamoDB流中读取：dynamodb-streams-kinesis-adapter。

但是有可能将这个lib插入spark？任何人都这样做？

我正在使用Spark 2.1.0。

我的备份计划是让另一个应用程序从DynamoDB流中读取Kinesis流。

谢谢

Answer 1

我从来没有这样做;这听起来很酷。如果我正在做这个项目，我会认为DynamoDB Streams/Kinesis integration和Kinesis-Spark Streaming integration都是紧密的和有据可查的。因此，尽管我理解了以工具简化为名砍掉中间商的愿望，但我仍将探索在DynamoDB和Spark Streaming之间使用Kinesis来简化开发。