基于python的多进程共享变量正确打开方式


本文摘自php中文网,作者不言,侵删。

下面为大家分享一篇基于python的多进程共享变量正确打开方式,具有很好的参考价值,希望对大家有所帮助。一起过来看看吧

多进程共享变量和获得结果

由于工程需求,要使用多线程来跑一个程序。但是因为听说python的多线程是假的,于是使用多进程,反正任务需要共享的参数少。

查阅资料,发现实现多进程主要使用Multiprocessing,有两种方式,一种是Process,另一种是Pool。


1

p = Process(target=fun,args=(args))


再通过p.start()来启动一个子进程,通过p.join()方法来使得子进程运行结束后再执行父进程。

但是这样很烦,还要写个for 循环来开n个线程和join。

于是推荐用Pool。它可以开一个固定大小的进程池,然后每个线程执行apply_async()函数调用要执行的函数,最后再close和join。

代码如下:


1

2

3

4

5

6

7

8

9

10

11

12

13

pathm=Manager().Queue(len(pathlist))

for d in pathlist:

 pathm.put(d)

p=Pool(cp.threads)

results=[]

for i in range(cp.threads):

 temp=p.apply_async(ProcessWorker,args=(i,pathm,cp))

 results.append(temp)

print 'Waiting for all subprocesses done...'

p.close()

p.join()

print 'All subprocesses finish Processing.'

results=[r.get() for r in results]


阅读剩余部分

相关阅读 >>

详解Python中的求和函数sum()

Python函数重写怎么理解

Python常用库有哪些

Python中*的用法介绍(代码示例)

如何列出一个目录的所有文件

如何用Python统计不同字符个数

Python怎么安装词云wordcloud

Python学习日记(1)

Python 装饰器

linux6.5版本下如何安装Python

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...