无法启动火花thriftserver（蜂房的site.xml火花没有覆盖缺省值）

背景：无法启动火花thriftserver（蜂房的site.xml火花没有覆盖缺省值）

CentOS7
Hadoop的2.7.3
火花2.0.1斌-hadoop2.7
Apache的蜂房2.1.0槽（仅用于启动由蜂巢--service metastore metastore服务）
有无HADOOP_HOME，SPARK_HOME和HIVE_HOME等配置
MySQL的16年5月7日
已经把使用mysql-connector-java的5.1.40-bin.jar到两个蜂箱/ lib中/和火花/瓶/

蜂房的site.xml：

<?xml version="1.0" encoding="UTF-8" standalone="no"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration> 
    <property> 
     <name>javax.jdo.option.ConnectionURL</name> 
     <value>jdbc:mysql://www.test.com:3306/metastore</value> 
    </property> 
    <property> 
     <name>javax.jdo.option.ConnectionDriverName</name> 
     <value>com.mysql.jdbc.Driver</value> 
    </property> 
    <property> 
     <name>javax.jdo.option.ConnectionUserName</name> 
     <value>hive</value> 
    </property> 
    <property> 
     <name>javax.jdo.option.ConnectionPassword</name> 
     <value>password</value> 
    </property> 
    <property> 
     <name>hive.metastore.uris</name> 
     <value>thrift://www.test.com:9083</value> 
    </property> 
    <property> 
     <name>hive.metastore.schema.verification</name> 
     <value>true</value> 
    </property> 
</configuration>

我把蜂房的site.xml到两个蜂箱/ conf目录/和火花/ conf目录/

但运行start-thriftserver.sh，我得到了错误日志（在spark_home /日志/火花-HiveThriftServer2 .OUT）：

...... 
INFO HiveUtils: Initializing HiveMetastoreConnection version 1.2.1 using Spark classes. 
INFO metastore: Trying to connect to metastore with URI thrift://www.test.com:9083 
INFO metastore: Connected to metastore. 
...... 
DEBUG ObjectStore: Overriding javax.jdo.option.ConnectionURL value null from jpox.properties with jdbc:derby:memory:;databaseName=/tmp/spark-37dcab7f-655a-4506-abd7-492a8620a33e/metastore;create=true 
...... 
INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY 
...... 
org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

在日志中我们可以看到属性“hive.metastore.uris”确实有效。

但似乎其他mysql的相对属性不起作用，Metastore仍然使用默认数据库德比。

任何帮助表示赞赏！谢谢。

解决：

我删除hive.metastore.uris因为我只是用本地蜂巢。

<property> 
 
    <name>hive.metastore.uris</name> 
 
    <value>thrift://www.test.com:9083</value> 
 
</property> 
 
    \t

设置hive.metasotre.schema.verification为false。感谢Nirmal的帮助。

来源

2016-11-18 Furyegg

发现这个错误日志

Caused by: MetaException(message:Version information not found in metastore

集，在这两个蜂箱和火花的conf的 hive.metastore.schema.verification在蜂房的site.xml假值并重新启动服务，然后再试一次

来源

2016-11-18 08:04:43

尼尔默尔，感谢UR帮助，我像你说的那样累了，但仍然是一样的错误。我认为这些属性具有默认设置，即使没有在hive-site.xml中列出它们。 – Furyegg

有没有任何错误日志蜂巢metastore.log –

Nirmal，我没有得到蜂房metastore.log。在spark_home/logs中运行spark_home/sbin/start-thriftserver.sh后，我只是获得日志。并且可以在/ tmp/{user} /中运行hive cli后获得hive.log。我只是编辑我的问题，请检查。 – Furyegg

无法启动火花thriftserver（蜂房的site.xml火花没有覆盖缺省值）

回答

相关问题