当前第2页 返回上一页
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 | #coding:utf-8
import urllib.request
import time
import platform
#清屏函数(无关紧要 可以不写)
def clear():
print (u "内容过多 3秒后清屏" )
time.sleep(3)
OS = platform.system()
if (OS == u 'Windows' ):
os.system( 'cls' )
else :
os.system( 'clear' )
#访问函数
def linkbaidu():
url = 'http://www.baidu.com'
try :
response = urllib.request.urlopen(url,timeout=3)
except urllib.URLError:
print (u '网络地址错误' )
exit ()
with open( '/home/ifeng/PycharmProjects/pachong/study/baidu.txt' , 'w' ) as fp:
response = urllib.request.urlopen(url,timeout=3)
fp.write(response.read())
print (u '获取url信息,response.geturl()\n:%s' %response.getrul())
print (u '获取返回代码,response.getcode()\n:%s' % response.getcode())
print (u '获取返回信息,response.info()\n:%s' % response.info())
print (u "获取的网页信息经存与baidu.txt" )
if __name__ == 'main' :
linkbaidu()
|
Python标准库–logging模块
logging模块能够代替print函数的功能,将标准输出到日志文件保存起来,利用loggin模块可以部分替代debug
re模块
正则表达式
sys模块
系统相关模块
sys.argv(返回一个列表,包含所有的命令行)
sys.exit(退出程序)
Scrapy框架
urllib和re配合使用已经太落后,现在主流的是Scrapy框架
更多Python相关技术文章,请访问Python教程栏目进行学习!
以上就是python爬虫需要调用什么模块的详细内容,更多文章请关注木庄网络博客!!
返回前面的内容
相关阅读 >>
Python3.6中如何安装pip
Python里的end是什么意思
Python中双冒号::是什么?
如何使用Python实现圆周率的计算(代码示例)
Python中count函数的用法
Python怎么实现马氏距离
Python如何遍历list
Python3中怎么实现换行输出
Python如何安装opencv库
近年火热的Python列表知识,并有删添列表元素示例详解
更多相关阅读请进入《Python》频道 >>
人民邮电出版社
python入门书籍,非常畅销,超高好评,python官方公认好书。
转载请注明出处:木庄网络博客 » python爬虫需要调用什么模块