基于python的多进程共享变量正确打开方式


本文摘自php中文网,作者不言,侵删。

下面为大家分享一篇基于python的多进程共享变量正确打开方式,具有很好的参考价值,希望对大家有所帮助。一起过来看看吧

多进程共享变量和获得结果

由于工程需求,要使用多线程来跑一个程序。但是因为听说python的多线程是假的,于是使用多进程,反正任务需要共享的参数少。

查阅资料,发现实现多进程主要使用Multiprocessing,有两种方式,一种是Process,另一种是Pool。


1

p = Process(target=fun,args=(args))


再通过p.start()来启动一个子进程,通过p.join()方法来使得子进程运行结束后再执行父进程。

但是这样很烦,还要写个for 循环来开n个线程和join。

于是推荐用Pool。它可以开一个固定大小的进程池,然后每个线程执行apply_async()函数调用要执行的函数,最后再close和join。

代码如下:


1

2

3

4

5

6

7

8

9

10

11

12

13

pathm=Manager().Queue(len(pathlist))

for d in pathlist:

 pathm.put(d)

p=Pool(cp.threads)

results=[]

for i in range(cp.threads):

 temp=p.apply_async(ProcessWorker,args=(i,pathm,cp))

 results.append(temp)

print 'Waiting for all subprocesses done...'

p.close()

p.join()

print 'All subprocesses finish Processing.'

results=[r.get() for r in results]


阅读剩余部分

相关阅读 >>

Python 怎么求平均值

如何利用Python拷贝一个文件

Python中的枚举类型如何使用

Python是面向对象还是面向过程?

Python序列类型包括哪三种

史上最高效的Python爬虫框架(推荐)

Python如何停止运行

Python tuple什么意思

如何在Python中使用json数据?(代码示例)

Python中的切片是什么?(实例解析)

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...