Spark安装问题：实例化org.apache.spark.sql.hive.HiveSessionStateBuilder时出错

我跟随了Spark的所有环境变量和安装指令。现在，当我运行pyspark，我得到以下错误：Spark安装问题：实例化org.apache.spark.sql.hive.HiveSessionStateBuilder时出错

pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':"

enter image description here

我已经加了PATH，HADOOP_HOME，SPARK_HOME，与winutil.exe文件一起。也试过在网络上发布的解决方案之一，以上错误说要更改这样的权限

C:\winutils\bin>winutils.exe chmod 777 \tmp\hive

没有工作。

正如你在上面看到的那样，spark会启动，但没有其他的工作。见下面当我输入下面的命令：

enter image description here

缺少什么我在这里？

来源

2017-08-05 Awais Kaleem

经过5个小时的搜索！找到了！！！您只需连接到VPN，然后在winutils.exe \ tmp \ hive中更改权限，如下所示：https：//stackoverflow.com/questions/42784127/permission-denied-tmp-hive-in- sparklyr –

（假设Windows环境）检查并设置下面给出的权限。

C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe ls \tmp\hive 
drwx------ 1 BUILTIN\Administrators CORP\Domain Users 0 Oct 13 2017 \tmp\hive 

C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe chmod 777 \tmp\hive 

C:\spark\spark-2.2.0-bin-hadoop2.7\bin>%HADOOP_HOME%\bin\winutils.exe ls \tmp\hive 
drwxrwxrwx 1 BUILTIN\Administrators CORP\Domain Users 0 Oct 13 2017 \tmp\hive

来源

2017-10-13 11:04:16

请记住为您正在运行的操作系统版本使用正确版本的winutils（极其重要）： 64位 - https://codeload.github.com/gvreddy1210/64bit/zip/master和32位：https：// codeload.github.com/gvreddy1210/32bit/zip/master –

Spark安装问题：实例化org.apache.spark.sql.hive.HiveSessionStateBuilder时出错

回答

相关问题