python爬虫多少线程合适


本文摘自php中文网,作者anonymity,侵删。

最近准备爬取某电商网站的数据,先不考虑代理、分布式,先说效率问题(当然你要是请求的太快就会被封掉),步入正题。一般情况下小白的我们第一个想到的是for循环,这个可是单线程啊。那我们考虑for循环直接开他个5个线程,问题来了,如果有一个url请求还没有回来,后面的就干等,这么用多线程等于没用。

性能考虑

确定要用多线程或者多进程了,那我们到底是用多线程还是多进程,有些人对多进程和多线程有一定的偏见,就因为python的GIL锁,下面我们说一下这两个东西的差别。

多线程

一般情况下我们启动一个.py文件,就等于启动了一个进程,一个进程里面默认有一个线程工作,我们使用的多线程的意思就是在一个进程里面启用多个线程。

但问题来了,为什么要使用多线程呢?

阅读剩余部分

相关阅读 >>

实例解析Python单元测试及unittest框架用法

Python中num是什么意思

Python编程时如何添加中文注释

详解Python中for循环的工作原理

Python批量合并有合并单元格的excel文件详解_Python

Python编写图形界面如何利用aardio实现

关于Python中legb与闭包以及装饰器的具体讲解

什么是Python import语句?在Python中的import语句作用有哪些?

Python基础之文本格式化

Python通过伪装头部数据抵抗反爬虫

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...