乳宁一MapRed作业后,我们会得到一些总结有关工作,例如:从“降低输入记录”,以“减少输入组”
...
reduce input records: 10
reduce input groups: 3
...
我知道,这是通过结合重复键造成的。我的问题是减速器用于组合记录的方法是什么? key1.equals(key2)或key1.hashCode == key2.hashCode?
谢谢。
乳宁一MapRed作业后,我们会得到一些总结有关工作,例如:从“降低输入记录”,以“减少输入组”
...
reduce input records: 10
reduce input groups: 3
...
我知道,这是通过结合重复键造成的。我的问题是减速器用于组合记录的方法是什么? key1.equals(key2)或key1.hashCode == key2.hashCode?
谢谢。
只比较因为密钥必须实现WritableComparable。 key.hashCode()
用于划分原因。等于永远不会被使用。
减速器通常不会合并记录。对映射器发出的每个键执行一个缩减器(不一定是并行)。
Reduce Input Groups是输入到 减速器的唯一键的数量。减少输入记录是值的数量。每个键都有一个或多个与减速器相关的值。
明白了。非常感谢。 – user572138 2011-06-12 10:19:33