python爬虫线程和进程的使用(附代码)


本文摘自php中文网,作者不言,侵删。

本篇文章给大家带来的内容是关于python爬虫线程和进程的使用(附代码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

进程

使用

  • 导入类库

1

import multiprocessing

  • 创建进程

1

p1 = multiprocessing.Process(target=test1)

Process参数:group=None,target=None, name=None, args=(), kwargs={})

  • 全局变量

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

import time, os

import multiprocessing

 

nums = [11, 22, 33]

def test():

    nums.append(44)

    print('在进程1中nums=%s' % str(nums),id(nums))

    time.sleep(3)

def test2():

    print('在进程2中nums=%s' % str(nums),id(nums))

def main():

    print('----in 主进程 pid=%d----父进程pid=%d----' % (os.getpid(), os.getppid()))

    p = multiprocessing.Process(target=test)

    p.start()

 

    p2 = multiprocessing.Process(target=test2)

    p2.start()  

     # test()   

     # test2()

     if __name__ == '__main__':

    main()

进程间全局变量不共享,因为进程是复制出来的

线程

使用

  • 导入类库

1

import threading

  • 创建线程

1

t1 = threading.Thread(target=test1,args=(1000000,))

Thread参数:group=None,target=None, name=None,args=(), kwargs=None, *, daemon=None

  • 全局变量

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

import time,threading

 

g_num = 0

mutex = threading.Lock()

def test1(num):   

global g_num   

# mutex.acquire()    

    for i in range(num):

        mutex.acquire()

        g_num += 1

        mutex.release()   

        # mutex.release()

    print('-------in test1 g_num=%d-----' % g_num)

def test2(num):   

global g_num   

# mutex.acquire()    

    for i in range(num):

        mutex.acquire()

        g_num += 1

        mutex.release()   

        # mutex.release()

    print('-------in test2 g_num=%d-----' % g_num)

def main():

    t1 = threading.Thread(target=test1,args=(1000000,))

    t2 = threading.Thread(target=test2,args=(1000000,))

    t1.start()

    t2.start()

    time.sleep(3)

    print('-------------in main Thread g_num = %d----' % g_num)

 if __name__ == '__main__':

    main()

临界区,在同一时间只有一个程序进入代码块执行,一般括住改变的地方

如果其他线程调用acquire,当前线程则进入等待

threading.RLock() 递归锁 threading.Condition 信号量或条件锁

  • 生产者消费者模式

生产者消费者模式是线程间通信的一种应用

在使用数据结构的时候确定是否是线程安全,Queue本身是线程安全的,列表list([])、字典dic({})都不是线程安全的

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

def set_value(q):

    index = 0   

    while True:

        q.put(index)

        index += 1

        q.put(index)

        index += 1

        time.sleep(2)

def get_value(q):   

while True:

        print('消费者获取数据:',q.get())   #若队列为空就sleep休眠,直到队列有数据def main():

    q = Queue(4)

    t1 = threading.Thread(target=set_value,args=[q])

    t2 = threading.Thread(target=get_value,args=[q])

    t1.start()

    t2.start()

以上就是python爬虫线程和进程的使用(附代码)的详细内容,更多文章请关注木庄网络博客!!

相关阅读 >>

Python是什么?速读本文让你快速Python入门

Python怎么运行py文件

Python爬虫如何设置代理

Python自动化脚本安装指定版本环境的方法详解

Python语言依赖平台吗

如何理解关联规则apriori算法

Python怎么读取excel文件

Python实训之调用math库进行数学运算

Python中计算三次方怎么表示

pip 只能安装Python库吗

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...