我如何设置集群中每个节点的任务路径数？

Question

我看到我们可以为每个tasktracker设置一些map/reduce任务，但是如何设置集群中每个节点的tasktracker数量？

如何关闭安全性以便我可以为每个节点运行多个tasktracker？在hdfs-site.xml中将dfs.permissions设置为false就足够了吗？

Arun

Answer 1

为什么您需要多个任务路径？ 您可以运行多个作业，具体取决于您在任务跟踪器中设置的插槽数量。 JobTracker与tasktracker对话，以确定它是否在服务器上有任何空闲插槽（从数据所在的同一节点开始，如果不能，则从其他位置开始）如果您有多个任务执行程序，则它们不会知道实际负载在服务器上，性能可能会恶化

根据节点的内存和CPU功能，您应该设置插槽数量，最大映射数量和最大减少数量（您可以从核心模式开始）每个任务，但如果你知道你的任务是CPU低可以设置更高）

Answer 2

如果你有一个单线程模型的8核心机器，为datanode留出1个线程，1为tasktracker，你可以有6个线程可用。根据程序的需要，你可能有4张地图，2个缩减器。如果地图不是CPU密集型的，你可以增加mappers的数量。还要根据系统的RAM为每个映射/减少任务分配适当的内存。