sortByKey不适用于Dstream

Question

我正在使用Dstream（Spark Streaming）的Transform API对数据进行排序。 我正在使用netcat从TCP套接字读取数据。 继使用的代码行： myDStream.transform（rdd => rdd.sortByKey（））

无法找到函数sortByKey。任何人都可以请帮助这一步中的问题是什么？

Answer 1

如果您使用netcat作为输入，您可能会使用socketTextStream，它返回ReceiverInputDStream[String]。在这种情况下transform将采取功能：

(RDD[String]) => RDD[U] 

只有RDD[(T, U)]，其中T有相应Orderign可以sortedByKey。其他RDD你可以使用sortBy：

myDSTream.transform(rdd => rdd.sortBy(x => x))