python爬虫多少线程合适


本文摘自php中文网,作者anonymity,侵删。

最近准备爬取某电商网站的数据,先不考虑代理、分布式,先说效率问题(当然你要是请求的太快就会被封掉),步入正题。一般情况下小白的我们第一个想到的是for循环,这个可是单线程啊。那我们考虑for循环直接开他个5个线程,问题来了,如果有一个url请求还没有回来,后面的就干等,这么用多线程等于没用。

性能考虑

确定要用多线程或者多进程了,那我们到底是用多线程还是多进程,有些人对多进程和多线程有一定的偏见,就因为python的GIL锁,下面我们说一下这两个东西的差别。

多线程

一般情况下我们启动一个.py文件,就等于启动了一个进程,一个进程里面默认有一个线程工作,我们使用的多线程的意思就是在一个进程里面启用多个线程。

但问题来了,为什么要使用多线程呢?

阅读剩余部分

相关阅读 >>

通过游戏闯关来测试自己的Python掌握能力

什么叫Python字符串的格式化

tensorflow用Python哪个版本更好?

Python使用tesseract库实现识别验证

Python read lines() 有什么用?能用在什么地方?

介绍Python中星号变量的特殊用法

Python如何赚外快

Python中有栈吗

Python中给list添加元素的4种方法分享_Python

Python如何产生10个不同的随机数

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...