为什么运行简单的火花流很难？火花1.1.1 Maven依赖关系

Question

我正在使用火花流，它工作正常，当我使用spark1.0.2，现在我反复得到几个问题

像类未找到，我使用相同的pom.xml更新后的版本为所有火花模块 我使用的火花核心，流媒体，卡夫卡模块流..

它不断地不断抛出错误，因为没有公地configuation，公地LANGS，登录

如何获取运行Spark流的所有依赖关系..有没有什么办法，或者我们只需通过试验和错误找到满足霍德？

我POM依赖

<dependencies> 
     <dependency> 
      <groupId>javax.servlet</groupId> 
      <artifactId>servlet-api</artifactId> 
      <version>2.5</version> 
     </dependency> 
     <dependency> <!-- Spark dependency --> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.1.1</version> 
    </dependency> 

    <dependency> <!-- Spark streaming dependency --> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-streaming_2.10</artifactId> 
    <version>1.1.1</version> 
</dependency> 
    <dependency> <!-- Spark dependency --> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-streaming-kafka_2.10</artifactId> 
     <version>1.1.1</version> 
    </dependency> 

    <dependency> 
     <groupId>org.slf4j</groupId> 
     <artifactId>slf4j-log4j12</artifactId> 
     <version>1.7.5</version> 
    </dependency> 
     <dependency> 
     <groupId>commons-logging</groupId> 
     <artifactId>commons-logging</artifactId> 
     <version>1.1.1</version> 
</dependency> 
<dependency> 
    <groupId>commons-configuration</groupId> 
    <artifactId>commons-configuration</artifactId> 
    <version>1.6</version> 
</dependency> 

    </dependencies> 

我失去了一些东西？

Answer 1

终于在浪费了很多时间后，我已经到了答案。

1.确保你的火花版本和版本在你的POM是相同 2.Hadoop版本的火花是与火花是建立或使用火花的Hadoop版本预生成 3.Update您的火花ENV .SH与版本所需的详细信息

export JAVA_HOME=/User/java/ 
export SPARK_MASTER_IP=xyz 
export SPARK_WORKER_CORES=2 
export SPARK_WORKER_INSTANCES=1 
export SPARK_MASTER_PORT=7077 
export SPARK_WORKER_MEMORY=4g 
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT} 
export SPARK_LOCAL_IP=xyz 

4.如果您正在使用Maven和Eclipse中使用M2E 1.5版本，否则你一定会得到log4j的例外。 5.确保你清理编译包你的jar文件，然后你代码提交你的火花应用程序

Answer 2

你的pom.xml仍然使用spark-core版本1.0.2。请为pom.xml中的所有与spark相关的依赖项使用1.1.1版本。