python爬虫需要调用什么模块


当前第2页 返回上一页

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

#coding:utf-8

import urllib.request

import time

import platform

 

 

#清屏函数(无关紧要 可以不写)

def clear():

    print(u"内容过多 3秒后清屏")

    time.sleep(3)

    OS = platform.system()

    if (OS == u'Windows'):

        os.system('cls')

    else:

        os.system('clear')

#访问函数

def linkbaidu():

    url = 'http://www.baidu.com'

    try:

        response = urllib.request.urlopen(url,timeout=3)

    except urllib.URLError:

        print(u'网络地址错误')

        exit()

    with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:

        response = urllib.request.urlopen(url,timeout=3)

        fp.write(response.read())

    print(u'获取url信息,response.geturl()\n:%s'%response.getrul())

    print(u'获取返回代码,response.getcode()\n:%s' % response.getcode())

    print(u'获取返回信息,response.info()\n:%s' % response.info())

    print(u"获取的网页信息经存与baidu.txt")

 

 

if __name__ =='main':

    linkbaidu()

Python标准库–logging模块

logging模块能够代替print函数的功能,将标准输出到日志文件保存起来,利用loggin模块可以部分替代debug

re模块

正则表达式

sys模块

系统相关模块

sys.argv(返回一个列表,包含所有的命令行)

sys.exit(退出程序)

Scrapy框架

urllib和re配合使用已经太落后,现在主流的是Scrapy框架

更多Python相关技术文章,请访问Python教程栏目进行学习!

以上就是python爬虫需要调用什么模块的详细内容,更多文章请关注木庄网络博客!!

返回前面的内容

相关阅读 >>

Python3.6中如何安装pip

Python里的end是什么意思

Python中双冒号::是什么?

如何使用Python实现圆周率的计算(代码示例)

Python中count函数的用法

Python怎么实现马氏距离

Python如何遍历list

Python3中怎么实现换行输出

Python如何安装opencv库

近年火热的Python列表知识,并有删添列表元素示例详解

更多相关阅读请进入《Python》频道 >>




打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...

    暂无评论...