将Java ResultSet转换为Spark DataFrame

我使用熊猫来操作Python中的数据。将Java ResultSet转换为Spark DataFrame

我经历了Spark的DataFrame，并希望将此结构用于我正在用Java开发的程序。

我在SQL Server中有我的数据，我有ResultSet中的SQL结果。我想将其转换为DataFrame

我该如何做这种转换？有没有更简单的方法将SQL结果直接转换为DataFrame？

编辑：我试图通过SparkSession连接SQL Server的详情如下

public static SparkSession spark = SparkSession 
     .builder() 
      .master("local[*]") 
     .appName("Java Spark SQL basic example") 
     .getOrCreate(); 

    Map<String, String> options = new HashMap<String, String>(); 
    options.put("url", "jdbc:jtds:sqlserver://<clipped>"); 
    spark.read().format("jdbc").options(options).load(); 

    Dataset<Row> sqlDF = spark.sql("SELECT TOP 1 * FROM HEDE);

现在我越来越Exception in thread "main" java.lang.RuntimeException: Option 'dbtable' not specified如何/我在哪里可以指定表？

来源

2016-11-11 Bedi Egilmez

您可以选择指定表：

options.put("dbtable", "some_table");

或使用JDBC方法：

spark.read().jdbc("jdbc:jtds:sqlserver://<clipped>", "some_table", properties)

其中properties是java.util.Properties。

来源

2016-11-11 01:00:46

将Java ResultSet转换为Spark DataFrame

回答

相关问题