何时会需要“无映射器”？

我在某些使用案例中一直没有使用减速机作业，但是我从未遇到过“无映射器”作业。 “没有Mapper”意味着mapreduce框架仍然会读取输入文件并以某种方式对它们进行排序/排序（基于InputFormat？），这些将成为我的reducer的输入？何时会需要“无映射器”？

2012-08-01 kee

“无映射器”是“身份映射器”的委婉语。默认的映射器，如果你没有指定一个就是这样。至少，身份映射程序将未改变的输入引导至右缩减分区。

2012-08-01 22:21:04

对于基于输入密钥的一些聚合函数，身份映射器是有意义的。映射器将发出与输入相同的I/O键，并且reducer将聚合特定键的值。

2012-08-02 02:21:47

如果您在使用Hadoop的流：

-mapper "/bin/sh -c \"cat\""

2017-04-21 15:08:28

回答