可以使用火花流1.5.1与卡夫卡0.10.0？

Question

我可以在kafka 0.10.0上使用spark streaming 1.5.1吗？ 该网站spark.apache.org建议火花流应该与kafka 0.8.2一起使用;

我只是想知道，如果我用卡夫卡0.10.0火花1.5.1？

能有人帮。

Answer 1

此API spark-streaming-kafka-0-10仍处于实验状态。 你可以使用它。但你可能会得到一些惊喜，因为它尚未稳定。 请按照下面的链接：

https://github.com/jerryshao/spark-streaming-kafka-0-10-connector

这是卡夫卡0.10连接器星火1.x的流。希望它能起作用。

Answer 2

我认为这是可能的，但有一些限制。例如，Apache spark 1.5.x不支持在kerberized环境中的流式传输功能。