分离Hadoop映射并减少任务

Question

在3节点hadoop集群中。我希望主人是1节点。 Map任务发生在一个节点中，并减少1个节点中的任务。地图和减少任务应该分开。可能吗？据我注意到，两个一起运行。如果你能说出一些亮点，那将是非常棒的。谢谢 ！

-Sethu

Answer 1

这一切不是最优的，因为其他的地图输出必须始终复制到另一台服务器。
但是，您可以简单地修改服务器上的mapred-site.xml。

<property> 
    <name>mapred.tasktracker.map.tasks.maximum</name> 
    <value>4</value> 
    <description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description> 
</property> 

<property> 
    <name>mapred.tasktracker.reduce.tasks.maximum</name> 
    <value>4</value> 
    <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description> 
</property> 

在没有减速器运行的服务器上，您将放入reduce.task.maximum为零。反之亦然，对于其他服务器。