Spark和Metastore关系

Question

我知道的一个事实，即蜂巢Metastore用于存储我们在HIVE创建但为什么电火花所需要Metastore表的元数据，什么是Metastore之间的默认关系和Spark

不metasore正在被spark SQL使用，如果是的话，这是为了存储数据框元数据？

为什么默认情况下spark会检查Metastore连接，即使iam不使用任何sql库？

Answer 1

下面是从spark-2.2.0 documentation

解释当不是由蜂巢-site.xml中配置，上下文自动在当前目录中创建metastore_db并创建由spark.sql.warehouse.dir构成的目录，缺省Spark应用程序启动的当前目录中的spark-warehouse目录。请注意，自从Spark 2.0.0以来，hive-site.xml中的hive.metastore.warehouse.dir属性已被弃用。相反，使用spark.sql.warehouse.dir指定仓库中数据库的默认位置。