使用多重处理的问题

Question

也许你可以帮我找到我在设置多重处理功能时的错误。 我设置了一个工作函数，它提取数据（类型为float）并计算平均值。 如果我使用以下代码（使用join（）），则不会启动多处理，每个for循环都会一个接一个地工作。计算正确的值。

与之相反的是，当我删除join（）函数时，启用了并行处理，但出现错误并且大部分计算的数据都是相同的。似乎工作进程不使用自己的列表变量。 你能给我一个提示吗？谢谢。斯特凡

for hostgroup in hostgroups: 
jobs = [] 
#multiprocessing.log_to_stderr(logging.DEBUG) 
p = multiprocessing.Process(target=worker, args=(hostgroup,hostsfile,mod_inputfile,outputdir,testmode,backup_dir,start_time,end_time,rrdname,unit,yesterday,now_epoch,rrd_interval,rrd_heartbeat,name)) 
jobs.append(p) 
p.start() 
p.join() 

UPDATE，这正与游泳池，但仍然不平行：

number_of_processes = len(hostgroups) 
if __name__ == '__main__': 
pool = multiprocessing.Pool(processes=number_of_processes) 
for hostgroup in hostgroups: 
    result = pool.apply_async(worker, [hostgroup,hostsfile,mod_inputfile,outputdir,testmode,backup_dir,start_time,end_time,rrdname,unit,yesterday,now_epoch,rrd_interval,rrd_heartbeat,name]) 
    print result.get(timeout=30) 

UPDATE，这看似平行，但只有一些过程结束正确（总是不同）：

number_of_processes = len(hostgroups) 
if __name__ == '__main__': 
pool = multiprocessing.Pool() 
results = [] 
for hostgroup in hostgroups: 
    results.append(pool.apply_async(worker,[hostgroup,hostsfile,mod_inputfile,outputdir,testmode,backup_dir,start_time,end_time,rrdname,unit,yesterday,now_epoch,rrd_interval,rrd_heartbeat,name])) 
pool.close() 
pool.join() 

Answer 1

p.join（）将阻止您的主线程，直到该过程完成其工作。为了获得真正的并行性，在调用join（）之前，需要启动所有的工作。

代码示例

jobs = [] 
for hostgroup in hostgroups: 
    p = multiprocessing.Process(target=worker, args=(hostgroup,hostsfile,mod_inputfile,outputdir,testmode,backup_dir,start_time,end_time,rrdname,unit,yesterday,now_epoch,rrd_interval,rrd_heartbeat,name)) 
    jobs.append(p) 
    p.start() 
[p.join() for p in jobs]