sparkR流媒体？

Question

我一直在Scala中使用Spark。我现在正在研究pySpark和SparkR。我没有看到为PySpark和SparkR提到的流式传输。是否有人知道在使用Python和R时是否可以使用Spark流？

Answer 1

Spark现在支持1.3中的pySpark流媒体。并且可以在https://github.com/hlin09/spark/tree/SparkR-streaming中找到SparkR流的实现。

Answer 2

目前（自Spark 1.1起），Spark Streaming仅在Scala & Java中受支持。如果您想要使用特定的R程序或Python程序，则可以查看RDD上的管道接口以及DStream上的转换函数。这有点尴尬，但它可能是目前在Spark Streaming中使用Python或R代码最简单的方法。

Answer 3

sparkR流不可用，直到最新版本的Apache 2.1.1火花

但我们可以用sparkR流从GitHub使用MVN

https://github.com/hlin09/spark/tree/SparkR-streaming

构建火花，那么你就可能把做sparkR流媒体。