星火：无法从蜂巢表中读取数据

Question

我创建了一个Maven项目作为pom.xml

<spark.version>1.3.0</spark.version> 
<dependencies> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.11</artifactId> 
     <version>${spark.version}</version> 
     <exclusions> 
      <exclusion> 
       <groupId>org.scala-lang</groupId> 
       <artifactId>scala-library</artifactId> 
      </exclusion> 
     </exclusions> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-sql_2.11</artifactId> 
     <version>${spark.version}</version> 
    </dependency> 
    <!-- <dependency> 
     <groupId>mysql</groupId> 
     <artifactId>mysql-connector-java</artifactId> 
     <version>5.1.6</version> 
    </dependency> --> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-hive_2.11</artifactId> 
     <version>${spark.version}</version> 
    </dependency> 

</dependencies> 

我的类，它是从蜂巢表中读取数据：

import org.apache.spark.sql.SQLContext 
import org.apache.spark.SparkConf 
import org.apache.spark.SparkContext 
import org.apache.spark.sql.hive.HiveContext 
import org.apache.spark.sql.DataFrame 

class SparkHive { 
    def createTable = { 
    val conf = new SparkConf().setMaster("local").setAppName("My First spark app") 
    val sparkCtxt = new SparkContext(conf) 
    val hiveContext = new HiveContext(sparkCtxt) 
    hiveContext.setConf("hive.metastore.uris", "thrift://127.0.0.1:9083") 
    val table = hiveContext.sql("select * from test") 
    table.show() 
    val gpData = table.groupBy("col1") 
    println(gpData.max("col2").show()) 
    } 
} 

我使用的火花从蜂巢元件中的表中读取数据，但面临一个非常奇怪的问题。

我有两个问题，如下所述：

问题1：如果我使用<spark.version>1.3.0</spark.version>火花能够找到蜂巢表，它是能够与该行的帮助下在控制台上打印数据

val table = hiveContext.sql("select * from test") 
table.show() 

但如果我通过做滤波器或组中的示例火花如图找不到col1和抛出异常如下

Exception in thread "main" java.util.NoSuchElementException: key not found: col1#0 

所以问题是为什么如果数据框能够找到该表，那么为什么它不让我在列上做群组以及如何解决这个问题？

问题2.如果我使用<spark.version>1.6.0</spark.version>那么spark甚至无法找到蜂房metastore中存在的表，所以现在为什么是这种行为？

环境：Cloudera的QUICKSTART VM 5.8.0

Answer 1

他们唯一的技巧就是把蜂箱-site.xml中的类路径。

Answer 2

试试这个： -

def createTable = { 
    val conf = new SparkConf().setMaster("local").setAppName("My First spark app") 
    val sparkCtxt = new SparkContext(conf) 
    val hiveContext = new HiveContext(sparkCtxt) 
    hiveContext.setConf("hive.metastore.uris", "thrift://127.0.0.1:9083") 
    val table = hiveContext.sql("select * from test") 
    table.show() 
    table.registerTempTable("table") 
    val gpData = hiveContext.sql("select max(col2) from table group by col1") 
    println(gpData.show()) 
    } 
}