python爬虫需要调用什么模块-木庄网络博客

2021-10-02 15:58:45 php中文网 Python 百度已收录

本文摘自php中文网，作者尚，侵删。

python 爬虫常用模块：

相关推荐：python爬虫库以及相关利器

Python标准库——urllib模块

功能：打开URL和http协议之类

注：python 3.x中urllib库和urilib2库合并成了urllib库。其中urllib2.urlopen()变成了urllib.request.urlopen()，urllib2.Request()变成了urllib.request.Request()

urllib请求返回网页

urllib.request.urlopen

1	`urllib.request.open(url[,data,[timeout,[cafile,[capth[,cadefault,[context]]]]]])`

urllib.requset.urlioen可以打开HTTP（主要）、HTTPS、FTP、协议的URL

ca 身份验证

data 以post方式提交URL时使用

url 提交网络地址（全程前端需协议名后端需端口 http:/192.168.1.1:80）

timeout 超时时间设置

函数返回对象有三个额外的方法

geturl() 返回response的url信息

常用与url重定向info()返回response的基本信息

getcode()返回response的状态代码

示例：

相关阅读 >>

更多相关阅读请进入《Python》频道 >>

书籍

Python编程从入门到实践第2版

￥69.8元 人民邮电出版社

python入门书籍，非常畅销，超高好评，python官方公认好书。