Spark SqlContext输出JSON格式

Question

我使用Spark SqlContext从postgres数据库中检索了数据。

下面是示例代码：

 Class.forName(dbDriver); 

     Map<String, String> options = new HashMap<String, String>(); 
     options.put("url", dbUrl); 
     options.put("dbtable", dbTable); 
     options.put("driver", dbDriver); 

     SparkConf conf = new SparkConf().setAppName("JAVA_SPARK") 
       .setMaster("local[2]").set("spark.ui.port‌​", "7077"); 

     JavaSparkContext jsc = new JavaSparkContext(conf); 

     SQLContext sqlContext = new SQLContext(jsc); 

     DataFrame dframe = sqlContext.read().format("jdbc") 
       .options(options).load(); 

     dframe.show(); 

我有以下的输出：

+------+---+ 
| name|age| 
+------+---+ 
|abc | 20| 
|xyz | 4| 
+------+---+ 

我所要的输出是JSON format.Is有什么办法可以这种格式转换为JSON还是比这个更具体的方法？

Answer 1

如果您想将DF转换为json，那么您可以使用以下内容。

JavaRDD<String> jsonRDD = dframe.toJSON().toJavaRDD();  
jsonRDD.foreach(data -> { 
     System.out.println(data); 
    }); 

如果你想将其保存为JSON文件，然后使用

dframe.write().json("c:\\temp\\myfile.json"); 

如果你想获得它的名单，然后调用取（）或收集（）。请参考Spark doc以了解何时使用这些方法。

List<String> mylist = jsonRDD.collect();