Spark Kafka与Apache Ignite的结构化流式集成

Question

现在，我无法在Apche Ignite中保存Spark DataFrames。它将包含在Apache Ignite 2.2版本中，如https://issues.apache.org/jira/browse/IGNITE-3084所述。我正在使用Apache Spark的结构化流式API与Kafka一起使用数据。我想要做一些聚合，如特定列的平均值或消耗数据的最小 - 最大值。

我的问题是我是否应该使用Spark SQL DataFrame API来完成上面提到的聚合，还是应该等待Apache Ignite 2.2版本？他们在文档中提到Ignite SQL比Spark SQL快100倍。

Answer 1

其实，这取决于你。您现在可以继续使用Spark，然后等待Ignite准备好DataFrames支持，比较这两种方法并选择更适合您需求的方法。