本文摘自PHP中文网,作者巴扎黑,侵删。
这篇文章主要给大家介绍了关于在Linux Shell中curl和wget使用代理IP的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面跟着小编来一起学习学习吧。前言
大家都知道,在Linux Shell中提供两个非常实用的命令来爬取网页,它们分别是 curl 和 wget,本文将给大家详细介绍关于在Linux Shell中curl和wget使用代理IP的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看吧。
curl 和 wget 使用代理
代理示例:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 | #!/bin/bash
{ 'http' : 'http://120.77.176.179:8888' }
curl -m 30 --retry 3 -x http: //120 .77.176.179:8888 http: //proxy .mimvp.com /exist .php
wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http: //proxy .mimvp.com /exist .php
{ 'https' : 'http://46.105.214.133:3128' }
curl -m 30 --retry 3 --proxy-insecure -x http: //46 .105.214.133:3128 -k https: //proxy .mimvp.com /exist .php
wget -T 30 --tries 3 --no-check-certificate -e "https_proxy=http://46.105.214.133:3128" https: //proxy .mimvp.com /exist .php
{ 'socks4' : '101.255.17.145:1080' }
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http: //proxy .mimvp.com /exist .php
{ 'socks5' : '82.164.233.227:45454' }
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http: //proxy .mimvp.com /exist .php
|
wget 配置文件设置代理
1 2 3 4 5 6 7 8 | vim ~/.wgetrc
http_proxy=http: //120 .77.176.179:8888:8080
https_proxy=http: //12 .7.17.17:8888:8080
use_proxy = on
wait = 30
wget -T 30 --tries 3 http: //proxy .mimvp.com
|
Shell 设置临时局部代理
1 2 3 4 5 6 7 8 9 10 11 12 | export http_proxy=http: //120 .77.176.179:8888:8080
export https_proxy=http: //12 .7.17.17:8888:8080
export http_proxy=http: //username :password@120.77.176.179:8888:8080
export https_proxy=http: //username :password@12.7.17.17:8888:8080
unset http_proxy
unset https_proxy
|
Shell 设置系统全局代理
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | sudo vim /etc/profile
或
sudo vim ~/.bashrc
或
vim ~/.bash_profile
export http_proxy=http: //120 .77.176.179:8888:8080
export https_proxy=http: //12 .7.17.17:8888:8080
export http_proxy=http: //username :password@120.77.176.179:8888:8080
export https_proxy=http: //username :password@12.7.17.17:8888:8080
source /etc/profile
或
source ~/.bashrc
或
source ~/.bash_profile
sudo reboot
|
米扑代理示例
米扑代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易语言等十多种编程语言或脚本,通过大量的可运行实例,详细讲解了使用代理IP的正确方法,方便网页爬取、数据采集、自动化测试等领域。
以上就是Linux Shell中的curl和wget如何使用代理IP的方法教程的详细内容,更多文章请关注木庄网络博客!
相关阅读 >>
Linux中安装mysql5.7.21的步骤详解
如何为一台或者多台 Linux 实例解绑 ssh 密钥对
Linux保存文件的命令是什么?
Linux--bash 和 shell讲解
Linux怎么启动docker服务
使用回滚磁盘功能如何实现将一块云盘的数据恢复到之前的某一时刻
学嵌入式Linux可以做什么?
Linux下怎么查看哪些端口被占用
Linux中什么是挂载
Linux下如何使用grep命令查看进程
更多相关阅读请进入《Linux》频道 >>
转载请注明出处:木庄网络博客 » Linux Shell中的curl和wget如何使用代理IP的方法教程