Python的多处理和共享numpy的阵列

Question

我有一个问题，这是与此类似：

import numpy as np 

C = np.zeros((100,10)) 

for i in range(10): 
    C_sub = get_sub_matrix_C(i, other_args) # shape 10x10 
    C[i*10:(i+1)*10,:10] = C_sub 

因此，显然没有必要，运行此作为串行计算，因为每个子矩阵可以被独立计算。 我想使用多处理模块并为for循环创建最多4个进程。 我阅读了一些关于多处理的教程，但无法弄清楚如何使用它来解决我的问题。

感谢您的帮助

Answer 1

一个简单的方法来并行化代码将使用的过程Pool：

pool = multiprocessing.Pool() 
results = pool.starmap(get_sub_matrix_C, ((i, other_args) for i in range(10))) 

for i, res in enumerate(results): 
    C[i*10:(i+1)*10,:10] = res 

我用starmap因为get_sub_matrix_C函数有多个参数（starmap(f, [(x1, ..., xN)])电话f(x1, ..., xN)）。

但请注意，序列化/反序列化可能需要大量时间和空间，因此您可能必须使用更低级别的解决方案来避免这种开销。

---

它看起来像你正在运行一个过时的版本的蟒蛇。你可以用普通map取代starmap但你必须提供一个函数，它接受一个参数：

def f(args): 
    return get_sub_matrix_C(*args) 

pool = multiprocessing.Pool() 
results = pool.map(f, ((i, other_args) for i in range(10))) 

for i, res in enumerate(results): 
    C[i*10:(i+1)*10,:10] = res 

Answer 2

下面的配方也许可以完成这项工作。随意问。

import numpy as np 
import multiprocessing 

def processParallel(): 

    def own_process(i, other_args, out_queue): 
     C_sub = get_sub_matrix_C(i, other_args) 
     out_queue.put(C_sub)    

    sub_matrices_list = [] 
    out_queue = multiprocessing.Queue() 
    other_args = 0 
    for i in range(10): 
     p = multiprocessing.Process(
          target=own_process, 
          args=(i, other_args, out_queue)) 
     procs.append(p) 
     p.start() 

    for i in range(10): 
     sub_matrices_list.extend(out_queue.get()) 

    for p in procs: 
     p.join() 

    return sub_matrices_list  

C = np.zeros((100,10)) 

result = processParallel() 

for i in range(10): 
    C[i*10:(i+1)*10,:10] = result[i]