Spark SQL因java.lang.NoClassDefFoundError失败：org/codehaus/commons/compiler/UncheckedCompileException

Question

在Java中运行Spark SQL（v2.1.0_2.11）程序立即失败，并出现以下异常，只要第一个操作被称为一个数据帧：

java.lang.ClassNotFoundException: org.codehaus.commons.compiler.UncheckedCompileException 

我跑了它在Eclipse中，​​环境之外。我用下面的SQL星火Maven的依赖性：

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>2.1.0</version> 
    <scope>provided</scope> 
</dependency> 

Answer 1

罪魁祸首是图书馆commons-compiler。下面是冲突的：

要解决这个问题，以下内容添加到您的pom.xml：

<dependencyManagement> 
    <dependencies> 
     <dependency> 
      <groupId>org.codehaus.janino</groupId> 
      <artifactId>commons-compiler</artifactId> 
      <version>2.7.8</version> 
     </dependency> 
    </dependencies> 
</dependencyManagement>