python多重处理的内存使用情况

Question

一旦进程被连接，一个multiprocessing.Process产生的进程消耗的内存是否会被释放？

我心目中的情况大致是这样的：

from multiprocessing import Process 
from multiprocessing import Queue 
import time 
import os 

def main(): 
    tasks = Queue() 
    for task in [1, 18, 1, 2, 5, 2]: 
    tasks.put(task) 

    num_proc = 3   # this many workers @ each point in time 
    procs = [] 
    for j in range(num_proc): 
    p = Process(target = run_q, args = (tasks,)) 
    procs.append(p) 
    p.start() 

    # joines a worker once he's done 
    while procs: 
    for p in procs: 
     if not p.is_alive(): 
      p.join()  # what happens to the memory allocated by run()? 
      procs.remove(p) 
      print p, len(procs) 
    time.sleep(1) 

def run_q(task_q): 
    while not task_q.empty(): # while's stuff to do, keep working 
     task = task_q.get() 
     run(task) 

def run(x):  # do real work, allocates memory 
    print x, os.getpid() 
    time.sleep(3*x) 


if __name__ == "__main__": 
    main() 

在实际的代码中，tasks长度远远大于CPU内核的数量，每个task是轻量级的，不同的任务需要很大的不同CPU时间（几分钟到几天）和大量不同的内存（从花生到几个GB）。所有这些内存都位于run的本地，因此无需共享它---所以问题在于一旦run返回，和/或一旦进程加入后，它是否会被释放。

Answer 1

进程终止时释放进程占用的内存。在你的例子中，这发生在run_q（）返回时。