multiprocessing.Queue项目的最大尺寸？

Question

我正在开发一个相当大的Python项目，要求将计算密集型后台任务之一卸载到另一个内核，以便主服务不会变慢。当使用multiprocessing.Queue来传达工作进程的结果时，我遇到了一些显然很奇怪的行为。为了比较目的，对threading.Thread和multiprocessing.Process使用相同的队列，该线程工作得很好，但是在将大项放入队列后进程无法加入。注意：

import threading 
import multiprocessing 

class WorkerThread(threading.Thread): 
    def __init__(self, queue, size): 
     threading.Thread.__init__(self) 
     self.queue = queue 
     self.size = size 

    def run(self): 
     self.queue.put(range(size)) 


class WorkerProcess(multiprocessing.Process): 
    def __init__(self, queue, size): 
     multiprocessing.Process.__init__(self) 
     self.queue = queue 
     self.size = size 

    def run(self): 
     self.queue.put(range(size)) 


if __name__ == "__main__": 
    size = 100000 
    queue = multiprocessing.Queue() 

    worker_t = WorkerThread(queue, size) 
    worker_p = WorkerProcess(queue, size) 

    worker_t.start() 
    worker_t.join() 
    print 'thread results length:', len(queue.get()) 

    worker_p.start() 
    worker_p.join() 
    print 'process results length:', len(queue.get()) 

我已经看到了，这工作正常size = 10000，但worker_p.join()的size = 100000挂起。 multiprocessing.Process实例可以在multiprocessing.Queue中放置一些固有的大小限制吗？或者我在这里犯了一些明显的根本错误？

仅供参考，我在Ubuntu 10.04上使用Python 2.6.5。

Answer 1

似乎底层管道已满，所以进给程序线程在写入管道时会阻塞（实际上，当试图获取保护管道免于并发访问的锁定时）。

检查这个问题http://bugs.python.org/issue8237

Answer 2

答案python multiprocessing: some functions do not return when they are complete (queue material too big)实现你可能是通过“出列”中任意一组的功能，它的返回值获得排队的并行执行加入”之前的意思。

这因此，允许任何大小的东西进入队列，以便您发现的限制不会妨碍。

Answer 3

默认情况下队列的最大大小是无限的，但你已经覆盖了这个。在你的情况下， worker_p将项目放入队列中，队列应该被释放电话加入。详情请参阅下面的链接。 https://docs.python.org/2/library/multiprocessing.html#programming-guidelines