本文摘自php中文网,作者不言,侵删。
本篇文章给大家带来的内容是关于python爬虫线程和进程的使用(附代码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。进程
使用
1 | p1 = multiprocessing.Process(target=test1)
|
Process参数:group=None,target=None, name=None, args=(), kwargs={})
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | import time, os
import multiprocessing
nums = [11, 22, 33]
def test():
nums.append(44)
print ( '在进程1中nums=%s' % str(nums),id(nums))
time.sleep(3)
def test2():
print ( '在进程2中nums=%s' % str(nums),id(nums))
def main():
print ( '----in 主进程 pid=%d----父进程pid=%d----' % (os.getpid(), os.getppid()))
p = multiprocessing.Process(target=test)
p.start()
p2 = multiprocessing.Process(target=test2)
p2.start()
# test()
# test2()
if __name__ == '__main__' :
main()
|
进程间全局变量不共享,因为进程是复制出来的
线程
使用
1 | t1 = threading.Thread(target=test1,args=(1000000,))
|
Thread参数:group=None,target=None, name=None,args=(), kwargs=None, *, daemon=None
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 | import time,threading
g_num = 0
mutex = threading.Lock()
def test1(num):
global g_num
# mutex.acquire()
for i in range(num):
mutex.acquire()
g_num += 1
mutex.release()
# mutex.release()
print ( '-------in test1 g_num=%d-----' % g_num)
def test2(num):
global g_num
# mutex.acquire()
for i in range(num):
mutex.acquire()
g_num += 1
mutex.release()
# mutex.release()
print ( '-------in test2 g_num=%d-----' % g_num)
def main():
t1 = threading.Thread(target=test1,args=(1000000,))
t2 = threading.Thread(target=test2,args=(1000000,))
t1.start()
t2.start()
time.sleep(3)
print ( '-------------in main Thread g_num = %d----' % g_num)
if __name__ == '__main__' :
main()
|
临界区,在同一时间只有一个程序进入代码块执行,一般括住改变的地方
如果其他线程调用acquire,当前线程则进入等待
threading.RLock() 递归锁 threading.Condition 信号量或条件锁
生产者消费者模式是线程间通信的一种应用
在使用数据结构的时候确定是否是线程安全,Queue本身是线程安全的,列表list([])、字典dic({})都不是线程安全的
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | def set_value(q):
index = 0
while True:
q.put(index)
index += 1
q.put(index)
index += 1
time.sleep(2)
def get_value(q):
while True:
print ( '消费者获取数据:' ,q.get()) #若队列为空就sleep休眠,直到队列有数据def main():
q = Queue(4)
t1 = threading.Thread(target=set_value,args=[q])
t2 = threading.Thread(target=get_value,args=[q])
t1.start()
t2.start()
|
以上就是python爬虫线程和进程的使用(附代码)的详细内容,更多文章请关注木庄网络博客!!
相关阅读 >>
Python是什么?速读本文让你快速Python入门
Python怎么运行py文件
Python爬虫如何设置代理
Python自动化脚本安装指定版本环境的方法详解
Python语言依赖平台吗
如何理解关联规则apriori算法
Python怎么读取excel文件
Python实训之调用math库进行数学运算
Python中计算三次方怎么表示
pip 只能安装Python库吗
更多相关阅读请进入《Python》频道 >>
人民邮电出版社
python入门书籍,非常畅销,超高好评,python官方公认好书。
转载请注明出处:木庄网络博客 » python爬虫线程和进程的使用(附代码)