Spark订阅ActiveMQ或Mosquitto MQTT经纪人

Question

我想订阅Spark到ActiveMQ或Mosquitto MQTT经纪人。我怎样才能做到这一点？

Answer 1

There's a pull request将一个MQTT输入源添加到Spark Streaming中。我们现在决定不接受这个PR（我们想在支持它之前判断对MQTT的需求），但是您应该能够获得该PR的代码并将其放入您自己的包中。

此外，请查阅Spark Streaming Custom Receivers指南了解编写自定义输入接收器的信息。

Answer 2

更近的拉请求与代码Apache孵化器火花库MQTT适配器星火流在这里https://github.com/apache/incubator-spark/pull/64

Answer 3

您可以编写自定义的火花流receiver.Which允许你从任何来源读取