转换RDD到数据集在Java中星火

Question

我有一个RDD，我需要把它转换成一个数据集，我想：

Dataset<Person> personDS = sqlContext.createDataset(personRDD, Encoders.bean(Person.class)); 

上述行引发错误，

无法解析方法createDataset（org.apache.spark.api.java.JavaRDD Main.Person，org.apache.spark.sql.Encoder T）

然而

，我可以℃后转换为Dataset颠倒为Dataframe。下面的代码工作：

Dataset<Row> personDF = sqlContext.createDataFrame(personRDD, Person.class); 
Dataset<Person> personDS = personDF.as(Encoders.bean(Person.class)); 

Answer 1

.createDataset()接受RDD<T>不是JavaRDD<T>。 JavaRDD是RDD的一个包装，以便更容易地从java代码调用。它内部包含RDD，可以使用.rdd()访问。下面可以创建一个Dataset：

Dataset<Person> personDS = sqlContext.createDataset(personRDD.rdd(), Encoders.bean(Person.class))

Answer 2

您RDD使用.toDS()你会得到一个数据集。

让我知道它是否有帮助。干杯。