将javaRDD保存为XML文件

Question

Apache Spark中是否有任何方式将java RDD文本保存为XML文件？

我目前所做的是使用saveAsTextFile方法将RDD另存为纯文本文件，然后将其转换为XML。 我有兴趣找到一种方法来直接从RDD创建XML文件。

任何提示，想法或指导将不胜感激。

Answer 1

您可以参考databricks xml库来读取/写入xml的数据。根据数据推测模式：

import org.apache.spark.sql.SQLContext 

SQLContext sqlContext = new SQLContext(sc); 
DataFrame df = sqlContext.read() 
    .format("com.databricks.spark.xml") 
    .option("rowTag", "book") 
    .load("books.xml"); 

df.select("author", "_id").write() 
    .format("com.databricks.spark.xml") 
    .option("rootTag", "books") 
    .option("rowTag", "book") 
    .save("newbooks.xml");