无法导入的Postgres成星火与JDBC，但显示蜂巢警告

我试图导入我的Postgres数据库到我Kubernetes Spark setup 无法导入的Postgres成星火与JDBC，但显示蜂巢警告

运行kubectl exec zeppelin-controller-3i97t -it -- pyspark --packages org.postgresql:postgresql:9.4.1209之后，我尝试连接到数据库：

from pyspark.sql import SQLContext 
sqlContext = SQLContext(sc) 
url = 'jdbc:postgresql://PG_SERVER_IP/db_name' 
properties = { 
    "user": "PG_USER", 
    "password": "PASSWORD", 
    "driver": "org.postgresql.Driver" 
} 
df = sqlContext.read.jdbc(url=url, table='objects', properties=properties)

但df没有为我使用而定义，下面有关于Hive的警告。我怎样才能绕过这个问题？为什么Hive甚至涉及？无论如何绕过它，以便我可以将数据作为RDD或数据框导入到Spark中？

WARN ObjectStore：在 Metastore中找不到版本信息。 hive.metastore.schema.verification未启用，因此记录模式版本1.2.0 WARN ObjectStore：无法获取数据库默认值，返回NoSuchObjectException WARN Hive：无法访问Metastore。此类不应在运行时访问。 org.apache.hadoop.hive.ql.metadata.HiveException： java.lang.RuntimeException：无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql .metadata.Hive.getAllDatabases（Hive.java:1236） at org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions（Hive.java:174） at org.apache.hadoop.hive.ql。 metadata.Hive。（Hive.java:166）

来源

2016-09-13 FullStack

最有可能您的Hive配置文件不在conf目录中。

来源

2016-09-14 06:23:37

我没有意识到我需要一个Hive配置文件。你认为哪个配置目录（Spark's，Zeppelin's，Hive's）？谢谢 – FullStack

无法导入的Postgres成星火与JDBC，但显示蜂巢警告

回答

相关问题