如何在单节点中同时运行多个映射器

Question

我在Mac中使用Hadoop 2.8.0。我想同时运行所有的映射器。我试图通过强制创建多个输入文件并使用多个输入文件，以便创建多个映射器。他们被创建，但他们顺序运行。我看到在输出是这样的：

开始任务**** _ M_0

...............

finising任务**** _ M_0

开始任务**** _ M_1

为什么映射器运行了一个又一个？我如何配置以便它们一次启动？

Answer 1

如果您在本地模式下运行mapreduce（例如从eclipse），它一次只能运行一个映射器和一个reducer。如果以分布式（或伪分布式）模式运行它（例如，使用终端的hadoop命令，则可以使用更多映射器运行它）。

确保将映射器的最大数量设置为大于1配置文件

如果你有4个文件，你的Mac至少有4个核心，那么你应该看到至少有4个地图任务同时运行