python多处理，管理器启动进程spawn循环

Question

我有一个简单的python多处理脚本，它建立了一个试图将工作输出附加到管理器列表的工作者池。该脚本具有3个调用堆栈： - 主调用f1，该调用生成调用另一个函数g1的多个工作进程。当试图调试脚本时（顺便说一句，在Windows 7/64位/ VS 2010/PyTools中），脚本会运行到一个嵌套的进程创建循环中，产生无数的进程。任何人都可以确定原因我确定我错过了一些非常简单的事情。这里是有问题的代码： -

import multiprocessing 
import logging 

manager = multiprocessing.Manager() 
results = manager.list() 

def g1(x): 
    y = x*x 
    print "processing: y = %s" % y 
    results.append(y) 

def f1(): 
    logger = multiprocessing.log_to_stderr() 
    logger.setLevel(multiprocessing.SUBDEBUG) 

    pool = multiprocessing.Pool(processes=4) 
    for (i) in range(0,15): 
     pool.apply_async(g1, [i]) 
    pool.close() 
    pool.join() 

def main(): 
    f1() 

if __name__ == "__main__": 
    main() 

PS：尝试添加multiprocessing.freeze_support()主无济于事。

Answer 1

基本上，sr2222在他的评论中提到的是正确的。从multiprocessing manager docs，它表示____main____模块必须是可由儿童导入的。每个经理“对象对应于衍生子进程”，所以每个孩子基本上都是重新导入你的模块（你可以通过在模块范围添加一个打印语句来看到我的固定版本！）......这导致无限递归。

一个解决办法是将你的经理代码为F1（）：

import multiprocessing 
import logging 

def g1(results, x): 
    y = x*x 
    print "processing: y = %s" % y 
    results.append(y) 

def f1(): 
    logger = multiprocessing.log_to_stderr() 
    logger.setLevel(multiprocessing.SUBDEBUG) 
    manager = multiprocessing.Manager() 
    results = manager.list() 
    pool = multiprocessing.Pool(processes=4) 
    for (i) in range(0,15): 
     pool.apply_async(g1, [results, i]) 
    pool.close() 
    pool.join() 


def main(): 
    f1() 

if __name__ == "__main__": 
    main()