如何使用Spark Scala从IntelliJ IDEA连接到Hive虚拟框中

Question

我需要连接到在VirtualBox中运行的Cloudera CDH 5.8中的Hive，从本地Windows机器上的IntelliJ中创建的Spark-scala程序。请帮忙。

Answer 1

大部分你需要的是HDFS和Hive支持。你有两个选择：

1）.Create核心-site.xml中，蜂房的site.xml其中配置：

核心站点属性

<property> 
     <!--<name>fs.defaultFS</name>--> 
     <name>fs.defaultFS</name> 
     <value>maprfs://cdhdemo:7222</value> 
    </property> 

蜂房站点属性

<property> 
     <name>hive.metastore.uris</name> 
     <value>thrift://cdhdemo:9083</value> 
    </property> 
    <property> 
     <name>hive.metastore.warehouse.dir</name> 
     <value>/user/hive/warehouse</value> 
    </property> 

2）。或者你可以通过编程与SparkSession配置：

sparkSessionBuilder 
     .config("hive.metastore.uris", "thrift://chddemo:9083") 
     .config("hive.metastore.warehouse.dir", "/user/hive/warehouse") 
     .config("fs.defaultFS", "maprfs://chddemo:7222") 
     .enableHiveSupport()