创作RDD [LabeledPoint]：java.lang.ClassCastException：java.lang.Long中不能转换为java.lang.Double中

Question

我已经以SQL数据帧转换df到RDD[LabeledPoint]写下面的代码：

val targetInd = df.columns.indexOf("myTarget") 
val ignored = List("myTarget") 
val featInd = df.columns.diff(ignored).map(df.columns.indexOf(_)) 

df.printSchema 

val dfLP = df.rdd.map(r => LabeledPoint(
    r.getDouble(targetInd), 
    Vectors.dense(featInd.map(r.getDouble(_)).toArray) 
)) 

的模式是这样的：

root 
|-- myTarget: long (nullable = true) 
|-- var1: long (nullable = true) 
|-- var2: double (nullable = true) 

当我运行dfLP.foreach(l => l.label)，则出现下列错误：

java.lang.ClassCastException: java.lang.Long cannot be cast to java.lang.Double

我该如何将标签加倍翻转？我期望其他功能可能是双重或长期的，不是吗？如果不是这样，那么我还需要将其余的功能加倍。

Answer 1

在映射之前，您可以尝试将所有列都转换为double。使用foldLeft应该做的伎俩：

df.columns.foldLeft(df) { 
    (newDF, colName) => newDF.withColumn(colName, df(colName).cast("double")) 
}