无法使用火花在配置单元上写数据

我正在使用spark1.6。我正在使用spark上下文创建hivecontext。当我将数据保存到配置单元时，它会给出错误。我正在使用cloudera vm。我的配置单元位于cloudera虚拟机内，并在我的系统中启动。我可以使用IP访问虚拟机。我已经启动了虚拟机上的节俭服务器和hiveserver2。我有hive.metastore.uris无法使用火花在配置单元上写数据

val hiveContext = new HiveContext(sc) 
    hiveContext.setConf("hive.metastore.uris", "thrift://IP:9083") 
............ 
............ 
df.write.mode(SaveMode.Append).insertInto("test")

用户节约服务器URI我得到以下错误：

FAILED: SemanticException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClien‌t

来源

2017-09-13 lucy

和错误？ – dumitru

FAILED：SemanticException java.lang.RuntimeException：无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient – lucy

我直接保存df。所以我应该在spark中定义配置单元的属性 – lucy

也许里面火花conf文件夹，蜂巢-site.xml中是不可用的，我已经加入下面的详细信息。

在spark配置文件夹中添加hive-site.xml。

创建一个指向hive配置文件夹中的hive-site.xml的符号链接。

须藤LN -s /usr/lib/hive/conf/hive-site.xml /usr/lib/spark/conf/hive-site.xml

上述步骤后，重新启动火花壳应帮帮我。

来源

2017-09-13 17:08:49 user7693121

无法使用火花在配置单元上写数据

回答

相关问题