本文摘自php中文网,作者不言,侵删。
本篇文章给大家带来的内容是关于python多进程的用法示例(代码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。python多线程适合IO密集型场景,而在CPU密集型场景,并不能充分利用多核CPU,而协程本质基于线程,同样不能充分发挥多核的优势。
针对计算密集型场景需要使用多进程,python的multiprocessing与threading模块非常相似,支持用进程池的方式批量创建子进程。
只需要实例化Process类,传递函数给target参数,这点和threading模块非常的类似,args为函数的参数
1 2 3 4 5 6 7 8 9 10 11 12 13 | import os
from multiprocessing import Process
# 子进程要执行的代码
def task(name):
print ( 'run child process %s (%s)...' % (name, os.getpid()))
if __name__ == '__main__' :
print ( 'parent process %s.' % os.getpid())
p = Process(target=task, args=( 'test' ,))
p.start()
p.join()
print ( 'process end.' )
|
继承Process类,重写run方法创建进程,这点和threading模块基本一样
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | import multiprocessing
import os
from multiprocessing import current_process
class Worker(multiprocessing.Process):
def run(self):
name = current_process().name # 获取当前进程的名称
print ( 'run child process <%s> (%s)' % (name, os.getpid()))
print ( 'In %s' % self.name)
return
if __name__ == '__main__' :
print ( 'parent process %s.' % os.getpid())
p = Worker()
p.start()
p.join()
print ( 'process end.' )
|
* 停止进程
terminate()结束子进程,但是会导致子进程的资源无法释放掉,是不推荐的做法,因为结束的时候不清楚子线程的运行状况,有很大可能性导致子线程在不恰当的时刻被结束。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | import multiprocessing
import time
def worker():
print( 'starting worker' )
time.sleep(0.1)
print( 'finished worker' )
if __name__ == '__main__' :
p = multiprocessing.Process(target=worker)
print( '执行前:' , p.is_alive())
p.start()
print( '执行中:' , p.is_alive())
p.terminate() # 发送停止号
print( '停止:' , p.is_alive())
p.join()
print( '等待完成:' , p.is_alive())
|
1 2 3 4 5 6 7 8 9 10 11 12 | import multiprocessing
def worker(num):
print (f 'Worker:%s %s' , num)
return
if __name__ == '__main__' :
jobs = []
for i in range(5):
p = multiprocessing.Process(target=worker, args=(i,))
jobs.append(p)
p.start()
|
在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,十几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,此时可以发挥进程池的功效。
Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | import os
import random
import time
from multiprocessing import Pool
from time import ctime
def task(name):
print ( 'start task %s (%s)...' % (name, os.getpid()))
start = time.time()
time.sleep(random.random() * 3)
print ( 'end task %s runs %0.2f seconds.' % (name, (time.time() - start)))
if __name__ == '__main__' :
print ( 'parent process %s.' % os.getpid())
p = Pool() # 初始化进程池
for i in range(5):
p.apply_async(task, args=(i,)) # 追加任务 apply_async 是异步非阻塞的,就是不用等待当前进程执行完毕,随时根据系统调度来进行进程切换。
p.close()
p.join() # 等待所有结果执行完毕,会等待所有子进程执行完毕,调用join()之前必须先调用close()
print (f 'all done at: {ctime()}' )
|
如果关心每个进程的执行结果,可以使用返回结果的get方法获取,代码如下
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | import os
import random
import time
from multiprocessing import Pool, current_process
from time import ctime
def task(name):
print ( 'start task %s (%s)...' % (name, os.getpid()))
start = time.time()
time.sleep(random.random() * 3)
print ( 'end task %s runs %0.2f seconds.' % (name, (time.time() - start)))
return current_process().name + 'done'
if __name__ == '__main__' :
print ( 'parent process %s.' % os.getpid())
result = []
p = Pool() # 初始化进程池
for i in range(5):
result.append(p.apply_async(task, args=(i,))) # 追加任务 apply_async 是异步非阻塞的,就是不用等待当前进程执行完毕,随时根据系统调度来进行进程切换。
p.close()
p.join() # 等待所有结果执行完毕
for res in result:
print (res.get()) # get()函数得出每个返回结果的值
print (f 'all done at: {ctime()}' )
|
以上就是python多进程的用法示例(代码)的详细内容,更多文章请关注木庄网络博客!!
相关阅读 >>
如何在一个表达式里合并两个字典
Python 编程开发 实用经验和技巧大放送
了解Python中的字符串是什么吗?
eval在Python什么意思
Python实现连接数据库的方法介绍
Python赋值与拷贝
pip 只能安装Python库吗
Python的缩进规则是什么
Python学习笔记之open()函数打开文件路径报错问题
基于Python requests库中的代理实例
更多相关阅读请进入《Python》频道 >>
人民邮电出版社
python入门书籍,非常畅销,超高好评,python官方公认好书。
转载请注明出处:木庄网络博客 » python多进程的用法示例(代码)