Hadoop Maven依赖MapReduce

Question

我正试图在单个节点集群（hadoop 2.4）中编写mapreduce程序。我在Maven中央存储库中发现了hadoop的maven依赖项。

http://mvnrepository.com/artifact/org.apache.hadoop

，所有这些依赖关系是必要的（包括在pom.xml中）写的map-reduce程序？

谢谢！

Answer 1

hadoop-core通常足以编写map-reduce作业。由于在集群上运行作业时hadoop库应该可用，因此可以在依赖项中添加<scope>provided</scope>。

单元测试，你可以使用org.apache.mrunit依赖与<scope>test</scope>