2014-02-26 53 views
0

早上好,开始使用MapReduce的版本2

我没有成功找到纱线MapReduce的例子(即MapReduce的的第二版),即始终呈现一个字计数这仅仅是非常相同代码是在MapReduce的第一个版本中提供的代码。 即使“Hadoop:权威指南”在YARN中没有代码!

你能否给我一段代码,告诉我在前一版本和最新版本中编写mapReduce代码的区别?

实际上,我试图在MR1上写一个分支和绑定代码,但后来我看到YARN可以让事情变得简单,这要归功于BranchReduce。

任何帮助理解,预先

回答

0

你可以编译纱(MRv2),用于MRv1编写的程序 由于无需修改源代码中的任何一行。它完全是源代码兼容的。

这里是纱例:http://wiki.apache.org/hadoop/WordCount

这里是地图红1例:https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Example%3A+WordCount+v1.0

一些明显的差异,在API级别注意:
- 新的API使用抽象类在接口
- mapreduce包是不同的

+0

非常感谢您的答案,但JobTracker?TaskTracker等呢?我认为我们应该用ResourceManager和NodeManager替换它们!我会永远有权访问JobTracker本地主机? –

+0

是的,你需要资源管理器。节点管理器 - 生态系统略有不同:http://hadoop.apache.org/docs/current2/hadoop-yarn/hadoop-yarn-site/YARN.html – Jasper

+0

那么,这是否意味着为MRv1编写的程序将是隐含地改变为与YARN的结构相匹配?非常感谢。 –