我正在使用pathos.multiprocessing来并行化需要使用实例方法的程序。下面是一个最小的工作例如:如何将关键字列表传递给pathos.multiprocessing?
import time
import numpy as np
from pathos.multiprocessing import Pool, ProcessingPool, ThreadingPool
class dummy(object):
def __init__(self, arg, key1=None, key2=-11):
np.random.seed(arg)
randnum = np.random.randint(0, 5)
print 'Sleeping {} seconds'.format(randnum)
time.sleep(randnum)
self.value = arg
self.more1 = key1
self.more2 = key2
args = [0, 10, 20, 33, 82]
keys = ['key1', 'key2']
k1val = ['car', 'borg', 'syria', 'aurora', 'libera']
k2val = ['a', 'b', 'c', 'd', 'e']
allks = [dict(zip(keys, [k1val[i], k2val[i]])) for i in range(5)]
pool = ThreadingPool(4)
result = pool.map(dummy, args, k1val, k2val)
print [[r.value, r.more1, r.more2] for r in result]
打印结果(如预期):
Sleeping 4 seconds
Sleeping 1 seconds
Sleeping 3 seconds
Sleeping 4 seconds
Sleeping 3 seconds
[[0, 'car', 'a'], [10, 'borg', 'b'], [20, 'syria', 'c'], [33, 'aurora', 'd'], [82, 'libera', 'e']]
然而,在这个调用map
最后两个参数事项的顺序,如果我这样做:
result2 = pool.map(dummy, args, k2val, k1val)
我获得:
[[0, 'a', 'car'], [10, 'b', 'borg'], [20, 'c', 'syria'], [33, 'd', 'aurora'], [82, 'e', 'libera']]
而我想获得相同的第一个结果。该行为是一样什么apply_async
kwds
可以在标准模块multiprocessing
在做,即通过字典,其中每个字典键是关键字名称和项目的关键字参数(见allks
)的列表。请注意,标准模块multiprocessing
不能使用实例方法,因此甚至不符合最低要求。
姑且这将是: 结果= pool.map(假人,ARGS,kwds = allks)#这不工作
一种发自内心的特大型感谢您投入的时间和精力在开发' pathos'。解决我的具体问题的附加荣誉。 – astabada