0
如果从2个不同datanode上运行的2个不同映射器获得相同的键/值对，并且如果我使用单个reducer，如何消除重复键/值对，并防止它进入减速机？消除来自hadoop中映射器的重复键/值对
我是否应该使用组合器，然后检查相同密钥是否有重复值，然后在组合器中将其消除？但是组合器将来自单个映射器的所有键值对作为输入，对吗？
A
回答
2
减速机的职责就是处理这种重复。我认为hadoop没有办法正是因为这个原因。
正如您指出的正确方式 - 组合器将不会完全帮助这里，但只减少这种复制的数量
相关问题
- 1. Hadoop的：一个值（爪哇）的（键，值）的映射器
- 2. Hadoop排序映射并减少键值
- 3. Hadoop映射器/还原器重用
- 4. 复杂对象的自动映射器映射
- 5. 键重映射
- 6. Hadoop map减少移除小于或大于映射器的值
- 7. Hadoop映射器上下文对象
- 8. nHibernate：与复合键的多对一映射中的默认值
- 9. 键值映射
- 10. .NET中的对象复制方法：自动映射器，发射映射器，隐式操作，属性复制
- 11. 删除/映射Hive表上的重复键？
- 12. 如何映射映射的键和值？
- 13. 重复的参考键 - 流利的NHibernate自动映射
- 14. HADOOP：从映射器发射矩阵
- 15. 复合键的Jpa映射
- 16. nHib 3.2映射由码对复合键
- 17. 映射到多个外键的自动映射器
- 18. Hadoop映射器可以在输出中生成多个键吗？
- 19. 删除重复键值对中的值在列表中
- 20. 来自另一个表的SQL映射重复条目
- 21. 使用xstream映射键值xml对到java映射
- 22. 如何将矢量映射到地图，重复键值？
- 23. Java数据结构：映射重复键并按值排序
- 24. Hadoop递归映射
- 25. Hadoop流式缩减器映射器
- 26. Spring JMX - 导出键值对映射
- 27. nhibernate映射枚举对（键值）
- 28. HADOOP - 获取映射器内的nodename
- 29. 消除两个表中的重复值
- 30. 带复合键/外键的映射表