本文摘自php中文网,作者不言,侵删。
下面为大家分享一篇基于python的多进程共享变量正确打开方式,具有很好的参考价值,希望对大家有所帮助。一起过来看看吧多进程共享变量和获得结果
由于工程需求,要使用多线程来跑一个程序。但是因为听说python的多线程是假的,于是使用多进程,反正任务需要共享的参数少。
查阅资料,发现实现多进程主要使用Multiprocessing,有两种方式,一种是Process,另一种是Pool。
1 | p = Process(target=fun,args=(args))
|
再通过p.start()来启动一个子进程,通过p.join()方法来使得子进程运行结束后再执行父进程。
但是这样很烦,还要写个for 循环来开n个线程和join。
于是推荐用Pool。它可以开一个固定大小的进程池,然后每个线程执行apply_async()函数调用要执行的函数,最后再close和join。
代码如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 | pathm=Manager().Queue(len(pathlist))
for d in pathlist:
pathm.put(d)
p=Pool(cp.threads)
results=[]
for i in range(cp.threads):
temp=p.apply_async(ProcessWorker,args=(i,pathm,cp))
results.append(temp)
print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses finish Processing.'
results=[r.get() for r in results]
|
阅读剩余部分
相关阅读 >>
Python 怎么求平均值
如何利用Python拷贝一个文件
Python中的枚举类型如何使用
Python是面向对象还是面向过程?
Python序列类型包括哪三种
史上最高效的Python爬虫框架(推荐)
Python如何停止运行
Python tuple什么意思
如何在Python中使用json数据?(代码示例)
Python中的切片是什么?(实例解析)
更多相关阅读请进入《Python》频道 >>
人民邮电出版社
python入门书籍,非常畅销,超高好评,python官方公认好书。
转载请注明出处:木庄网络博客 » 基于python的多进程共享变量正确打开方式