我不想使用databricks API,因为我们遇到了几个问题。将数据框保存为文本文件而不使用数据框API
我想如果我们使用的DF转换为RDD和RDD在Java 1.7到文本文件,星火1.6.2
我希望我的数据帧,以保存为一个文本文件,我知道下面的代码工作Java的1.8
df.rdd.map(row => row.mkString("\t")).coalesce(1).saveAsTextFile("outputDirRdd")
但我尝试把同样的上面的代码与Java 1.7我无法得到正确的语法与下面的代码击中。
df.toJavaRDD().map(new Function<???,???>() {
public ??? call(?? input) throws Exception {
?????
}
}).coalesce(1).saveAsTextFile("/s/filelocation");
我不知道上面的代码是否正确。
请帮我从这里,在此先感谢。
感谢您的更新人士Himanshu的创建。我已经尝试过,但我得到的任务没有序列化的错误,为此,我实现了可序列化的接口,仍然得到相同的问题引起:org.apache.spark.SparkException:任务不可序列化 – BadBoy777
你能提供错误堆栈跟踪? – himanshuIIITian
没关系。序列化问题是固定的,当我创建一个单独的类而不是匿名类。谢谢:) – BadBoy777