与Maven 的Hadoop版本 编译的Hadoop 2.5.1 Hadoop的2.5.1后,我尝试使用下面的命令编译Apache火花:是否有可能构建Apache星火针对Hadoop的2.5.1
mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.1 -Pdeb -DskipTests clean package
但显然没有2.5轮廓。
我的问题是:我该怎么办?
- 重建的hadoop 2.4
- 或轮廓2.4
- 或任何其他溶液编译火花?
与Maven 的Hadoop版本 编译的Hadoop 2.5.1 Hadoop的2.5.1后,我尝试使用下面的命令编译Apache火花:是否有可能构建Apache星火针对Hadoop的2.5.1
mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.1 -Pdeb -DskipTests clean package
但显然没有2.5轮廓。
我的问题是:我该怎么办?
看起来这是问的海报询问后:
http://apache-spark-user-list.1001560.n3.nabble.com/Spark-1-1-0-with-Hadoop-2-5-0-td15827.html
“类Hadoop 2.4轮廓真的打算是‘2.4 + Hadoop的’这 应该编译和运行罚款Hadoop 2.5据我所知,CDH 5.2 是Hadoop 2.5 + Spark 1.1,所以有证据表明它是有效的。“
只是更改配置文件名称为我工作。 Thx为答案。
您可以尝试在[pom.xml](https://github.com/apache/spark/blob/master/pom.xml)中为其创建配置文件 - 查找字符串“hadoop-2.4 '接近底部并创建2.5,这应该解决显而易见的HDFS协议兼容性问题,我可以想象各种各样的事情出错了,但实验可能并不昂贵。 – 2014-09-25 05:01:44