如何通过IntelliJ上的Scala使用Spark连接到Hive？

Question

我是新来蜂房和火花，并试图找出一种方法来访问表中的蜂巢来操纵和访问数据。如何做呢？

Answer 1

火花< 2.0

val sc = new SparkContext(conf) 

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 
val myDataFrame = sqlContext.sql("select * from mydb.mytable") 

火花的后续版本，使用SparkSession：

SparkSession现在是星火的新的切入点，它取代了旧 SQLContext和HiveContext。请注意，为保持向后兼容，旧SQLContext和HiveContext保持不变。一个新的目录 接口可从SparkSession访问 - 数据库 上的现有API以及诸如listTables，createExternalTable， 等表访问的dropTempView，cacheTable都在此处移动。 - 从文档

val spark = SparkSession 
    .builder() 
    .appName("Spark Hive Example") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate() 
val myDataFrame = spark.sql("select * from mydb.mytable") 

Answer 2

如果您的蜂巢服务器驻留远程群集上你可以参考拉动数据对像JDBC连接：

import scala.collection.mutable.MutableList 

case class TempTable (
    column1: String, 
    column2: String 
) 

val conn: Connection = DriverManager.getConnection(url, user, password) 
val res: ResultSet = conn.createStatement 
        .executeQuery("SELECT * FROM table_name") 
val fetchedRes = MutableList[TempTable]() 
while(res.next()) { 
    var rec = TempTable(res.getString("column1"), 
    res.getString("column2")) 
    fetchedRes += rec 
} 
conn.close() 
val resultRDD = sc.parallelize(fetchedRes) 
resultRDD.cache()