multiprocessing.pool上下文和负载平衡

Question

我遇到了python多处理Pool类的一些意外行为。

这里是我的问题：
1）Pool是什么时候创建了它的上下文，后来用于序列化？
只要在Container定义之后创建Pool对象，下面的示例就会正常运行。如果您交换池初始化，则会发生序列化错误。在我的生产代码中，我想在定义容器类之前初始化Pool方式。是否可以刷新池“上下文”或以另一种方式实现此目的。
2）池是否有自己的负载均衡机制，如果有的话它是如何工作的？
如果我在我的i7机器上运行一个类似的例子，其中包含8个进程的池，我会得到以下结果：
- 对于轻评估函数池支持仅使用一个进程进行计算。它按要求创建了8个进程，但在大多数情况下只有一个被使用（我从内部打印了pid，并在htop中看到了这一点）。
- 对于繁重的评估功能，行为与预期相同。它同样使用所有8个流程。
3）当使用池时，我总是看到4个更多的进程，我要求（即池（进程= 2），我看到6个新进程）。他们的角色是什么？

我使用Linux与Python 2.7.2

from multiprocessing import Pool 
from datetime import datetime 

POWER = 10 

def eval_power(container): 
    for power in xrange(2, POWER): 
     container.val **= power 
    return container 

#processes = Pool(processes=2) 

class Container(object): 
    def __init__(self, value): 
     self.val = value 

processes = Pool(processes=2) 

if __name__ == "__main__": 
    cont = [Container(foo) for foo in xrange(20)] 
    then = datetime.now() 
    processes.map(eval_power, cont) 
    now = datetime.now() 
    print "Eval time:", now - then 

编辑 - BAKURIU
1）我怕是这种情况。
2）我不明白什么Linux调度程序必须做与python分配计算进程。我的情况可以通过下面的例子ilustrated：

from multiprocessing import Pool 
from os import getpid 
from collections import Counter 


def light_func(ind): 
    return getpid() 


def heavy_func(ind): 
    for foo in xrange(1000000): 
     ind += foo 
    return getpid() 


if __name__ == "__main__": 
    list_ = range(100) 
    pool = Pool(4) 
    l_func = pool.map(light_func, list_) 
    h_func = pool.map(heavy_func, list_) 

    print "light func:", Counter(l_func) 
    print "heavy func:", Counter(h_func) 

在我的酷睿i5的机器（4个线程）我得到以下结果：
光FUNC：计数器（{2967：100}）
重FUNC ：计数器（{2969：28,2967：28,2968：23,2970：21}）
看来情况与我描述的一样。但是我仍然不明白为什么python会这样做。我的猜测是，它会尽量减少通信费用，但仍然不知道它用于负载平衡的机制。文档也不是很有帮助，多处理模块记录很差。
3）如果我运行上面的代码，我得到4个更多的过程，如前所述。屏幕来自HTOP：http://i.stack.imgur.com/PldmM.png

Answer 1

1. 的Pool对象调用__init__期间创建子进程，因此你必须以前定义Container。顺便说一下，我不会将所有代码包含在单个文件中，而是使用模块来实现Container和其他实用程序，并编写一个启动主程序的小文件。

2. Pool完全符合documentation中描述的内容。特别是它无法控制进程的调度，因此你看到的是Linux的调度程序认为它是正确的。对于小型计算，它们花费的时间很少，调度程序不会打扰它们并行（这可能由于核心关联等而具有更好的性能）。

3. 您能用一个示例显示此内容，以及您在任务管理器中看到的内容？我认为他们可能是处理Pool内队列的进程，但我不确定。在我的机器上，我只能看到主进程和两个子进程。在点2

---

更新：

的Pool对象只是把任务到一个队列，子进程从队列中获取的参数。如果一个进程几乎没有时间执行一个对象，那么Linux调度程序会让该进程执行更多的时间（从而消耗更多的队列中的项目）。如果执行花费很多时间，那么这个调度器将改变进程，因此其他子进程也被执行。

在你的情况下，一个进程正在消耗所有的项目，因为在其他子进程准备好之前它已经完成所有项目的计算时间很少。

正如我所说，Pool没有做任何关于平衡子过程的工作。它只是一个队列和一堆工作人员，池将项目放入队列中，进程获取项目并计算结果。 AFAIK它唯一能够控制队列的方法是将一定数量的任务放入队列中的单个项目中（请参阅the documentation），但不能保证哪个进程将抢占哪个任务。其他一切都留给了操作系统。

在我的机器上，结果不那么极端。对于轻量计算，两个进程的调用次数约为另外两次，而对于重量较大的进程，处理的项目或多或少具有相同的数量。可能在不同的操作系统和/或硬件上我们会得到不同的结果。