multiprocessing.Queue作为参数池的工人中止工作人员的执行

Question

我实际上很难相信我遇到了问题，我有，它似乎是一个在Python多处理模块中的大错误。无论如何，我遇到的问题是，只要我将multiprocessing.Queue传递给multiprocessing.Pool worker作为参数，池工作人员就不会执行其代码。即使是在python docs中找到的示例代码的稍微修改版本的非常简单的测试中，我也能够重现此错误。

下面是示例代码队列的原始版本：

from multiprocessing import Process, Queue 

def f(q): 
    q.put([42, None, 'hello']) 


if __name__ == '__main__': 
    q = Queue() 
    p = Process(target=f, args=(q,)) 
    p.start() 
    print(q.get()) # prints "[42, None, 'hello']" 
    p.join() 

这里是我的队列的示例代码修改后的版本：

from multiprocessing import Queue, Pool 

def f(q): 
    q.put([42, None, 'hello']) 

if __name__ == '__main__': 
    q = Queue() 
    p = Pool(1) 
    p.apply_async(f,args=(q,)) 
    print(q.get()) # prints "[42, None, 'hello']" 
    p.close() 
    p.join() 

所有我做的是使PA大小为1的进程池，而不是多进程。进程对象，结果是代码永远挂在打印语句上，因为没有任何内容写入队列！当然，我测试它的原始形式，它工作正常。我的操作系统是Windows 10，我的Python版本是3.5.x，任何人都有任何想法，为什么发生这种情况？

更新：仍然不知道为什么这个示例代码与multiprocessing.process，而不是一个multiprocessing.Pool，但我发现work around我满足（亚历克斯Martelli的答案）。显然你可以创建一个多处理的全局列表。并且要传递每个进程和索引来使用，我将避免使用一个受管队列，因为它们比较慢。感谢Guest向我展示链接。

Answer 1

问题

当你调用apply_async它返回一个AsyncResult对象和叶工作量分配到一个单独的线程（见this answer）。此线程遇到Queue对象不能为pickled的问题，因此所请求的工作不能分发（并最终执行）。我们可以通过调用AsyncResult.get看到这一点：

r = p.apply_async(f,args=(q,)) 
r.get() 

这引起了RuntimeError：

RuntimeError: Queue objects should only be shared between processes through inheritance 

然而，这RuntimeError是在主线程中只是提出一旦申请结果，因为它实际上是发生在不同的线程（并因此需要传输的方式）。

当你做

p.apply_async(f,args=(q,)) 

是目标函数f永远不会被调用，因为它的一个参数（q）不能腌制会发生什么。因此q永远不会收到一个项目并保持为空，因此在主线程中调用q.get将永远阻止。

解决方案

随着apply_async您不必手动管理的结果队列，但他们很容易在AsyncResult对象的形式提供给您。所以，你可以修改代码来简单地从目标函数返回：

from multiprocessing import Queue, Pool 

def f(): 
    return [42, None, 'hello'] 

if __name__ == '__main__': 
    q = Queue() 
    p = Pool(1) 
    result = p.apply_async(f) 
    print(result.get())