在py2.6中,多处理模块提供了一个Pool类,所以可以做到：
class Volatile(object):
def do_stuff(self,...):
pool = multiprocessing.Pool()
return pool.imap(...)
然而,使用2.7.2的标准Python实现,这种方法很快将导致“IOError：[Errno 24]打开的文件太多”.显然,池对象从来没有收到垃圾回收,所以它的进程永远不会终止,累积任何内部打开的描述符.我认为这是因为以下工作：
class Volatile(object):
def do_stuff(self,...):
pool = multiprocessing.Pool()
result = pool.map(...)
pool.terminate()
return result
我想保持imap的“懒惰”迭代器方法;在这种情况下垃圾收集工作如何工作？如何修复代码？
解决方法
最后,我结束了传递池参考,并在pool.imap迭代器完成后手动终止它：
class Volatile(object):
def do_stuff(self,...):
pool = multiprocessing.Pool()
return pool,pool.imap(...)
def call_stuff(self):
pool,results = self.do_stuff()
for result in results:
# lazy evaluation of the imap
pool.terminate()
如果将来有人绊倒这个解决方案：在pool.imap中,chunksize参数是非常重要的(而不是简单的Pool.map,它没有关系).我手动设置它,以便每个进程接收1 len(输入)/ len(池)作业.离开它的默认chunksize = 1给了我一样的表现,好像我没有使用并行处理…坏.
我想使用有序的imap和有序地图没有真正的好处,我只是个人喜欢迭代器更好.