Hadoop FairScheduler的高级内部数据结构和算法？

Question

在较高水平短暂什么是Hadoop的FairScheduler的内部？ 他们是否使用先决队列，堆确定保存每个作业等待时间？ 还是使用其他一些技巧？

Answer 1

一个良好的开端是描述公平调度的paper。它详细描述了算法并为不同类型的作业提供了基准。简而言之，它试图通过提前或者在大型工作岗位上运行小型工作来提高整体集群吞吐量。在某种程度上，你可以把它描述为一个优先级队列，但因为它试图把那些数据或机架本地任务，它有不同的权衡，使其更加复杂。大多数调度程序更好地被认为是最小化算法，因为试图减少完成一些任意块工作所花费的时间。