Spark DataFrame groupBy

Question

我有看起来像这样的Spark Java。代码使用JDBC从oracle表中提取数据并显示groupby输出。

DataFrame jdbcDF = sqlContext.read().format("jdbc").options(options).load(); 
jdbcDF.show(); 
jdbcDF.groupBy("VA_HOSTNAME").count().show(); 

Long ll = jdbcDF.count(); 
System.out.println("ll="+ll); 

当我运行的代码，jdbcDF.show();工作，而groupBy和计数不打印任何东西，被抛出任何错误。

我的专栏名称是正确的。我试图通过打印该列，它的工作，但当groupBy它无法正常工作。

有人可以帮我DataFrame输出？我正在使用spark 1.6.3。

Answer 1

您可以尝试

import org.apache.spark.sql.functions.count 

jdbcDF.groupBy("VA_HOSTNAME").agg(count("*")).show()