本文摘自php中文网,作者尚,侵删。
很多初学python爬虫的小伙伴们都会遇到python爬虫翻页的问题,我在这里先介绍一种。
需要爬取的网站如图所示
查询的这种植物有四页。当我们平时翻页时,首先想到肯定是点击页面上的下一页,写爬虫也是如此,想提取页面上的链接进行访问。但是这样做很麻烦,并且效率很低。
翻页的方式一般有两种:
1、观察网站翻页时链接变化
2、如果写爬虫的请求方式是post方式请求,则需要观察post的数据的变化是否有规律
今天讲得是第一种方法
如图,当我点击下一页时,观察到地址栏的链接变化
相关阅读 >>
Python批量合并有合并单元格的excel文件详解_Python
更多相关阅读请进入《Python》频道 >>

Python编程 从入门到实践 第2版
python入门书籍,非常畅销,超高好评,python官方公认好书。