对python使用http、https代理的实例讲解


本文摘自php中文网,作者不言,侵删。

这篇文章主要介绍了关于对python使用httphttps代理的实例讲解,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下

在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种:

(1)如果是在代码中使用一些网络库或爬虫框架进行数据爬取,一般这种框架都会支持设置代理,例如:

1

2

3

4

5

6

7

8

<span style="font-size:14px;">import urllib.requestasurlreq

# 设置https代理

ph = urlreq.ProxyHandler({'https':'https://127.0.0.1:1080'})

oper = urlreq.build_opener(ph)

# 将代理安装到全局环境,这样所有请求都会自动使用代理

urlreq.install_opener(oper)

res = oper.open("https://www.google.com")

print(res.read())</span>

1

2

<span style="font-size:14px;">import requestsasreq

print(req.get("https://www.google.com", proxies={'https':'https://127.0.0.1:1080'}).content)</span>

(2)如果使用的库没有提供设置代理的接口,但是底层使用了urllib、requests等库,可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量,常用的网络库会自动识别这些环境变量,使用变量设置的代理发起请求,设置如下:

1

2

3

import os

os.environ['http_proxy'] ='http://127.0.0.1:1080'

os.environ['https_proxy'] ='https://127.0.0.1:1080'

(3)如果上述两种方法都没有用,那么还可以使用一些可以监听、拦截和修改网络包的工具和库如(Fiddler、mitmproxy)来拦截http请求包并修改地址,达到使用代理的效果。

相关推荐:

利用python的socket发送http(s)请求方法

以上就是对python使用http、https代理的实例讲解的详细内容,更多文章请关注木庄网络博客!!

相关阅读 >>

Python对多属性的重复数据去重

Python中@如何使用

mac 正确地配置 scipy 开发环境

为什么Python

安装Python时没有scripts文件夹如何处理

Python语言实现百度语音识别功能的实例

Python 操作 excel 系列之:数据清洗

初学Python 请教学习路线

Python用什么软件

使用Python进行手机号和数字的随机生成方法

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...