0
我正在研究一个将数据框插入Hive Table的Spark程序,如下所示。Spark Version 2中的HiveContext
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql._
val hiveCont = val hiveCont = new org.apache.spark.sql.hive.HiveContext(sc)
val partfile = sc.textFile("partfile")
val partdata = partfile.map(p => p.split(","))
case class partc(id:Int, name:String, salary:Int, dept:String, location:String)
val partRDD = partdata.map(p => partc(p(0).toInt, p(1), p(2).toInt, p(3), p(4)))
val partDF = partRDD.toDF()
partDF.registerTempTable("party")
hiveCont.sql("insert into parttab select id, name, salary, dept from party")
我知道Spark V2已经出来了,我们可以在其中使用SparkSession对象。 我们是否可以使用SparkSession对象直接将数据框插入到Hive表中,还是必须使用版本2中的HiveContext?任何人都可以让我知道HiveContext版本的主要区别是什么?
哦! 因此,从Spark版本2x中,我可以直接使用sparkSession对象将数据框插入到现有的Hive表中。我的理解是否正确? – Sidhartha
@Sidhartha是的,'SparkSession'是一切的主要入口点,'HiveContext'和'SqlContext'不再需要 –