python爬虫如何爬取get请求的页面数据？（附代码）

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import urllib.parse

if __name__ == "__main__":

    #原始url中存在非ASCII编码的值，则该url无法被使用。

    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'

    #处理url中存在的非ASCII数据值

    url = 'http://www.baidu.com/s?'

    #将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是'?'后面键值形式的请求参数

    param = {

        'ie':'utf-8',

        'wd':'周杰伦'

    }

    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码

    param = urllib.parse.urlencode(param)

    #将编码后的数据和url进行整合拼接成一个完整可用的url

    url = url + param

    print(url)

    response = urllib.request.urlopen(url=url)

    data = response.read()

    with open('./周杰伦.html','wb') as fp:

        fp.write(data)

    print('写入文件完毕')

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import urllib.parse

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":

    #原始url中存在非ASCII编码的值，则该url无法被使用。

    #url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'

    #处理url中存在的非ASCII数据值

    url = 'http://www.baidu.com/s?'

    #将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是'?'后面键值形式的请求参数

    param = {

        'ie':'utf-8',

        'wd':'周杰伦'

    }

    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码

    param = urllib.parse.urlencode(param)

    #将编码后的数据和url进行整合拼接成一个完整可用的url

    url = url + param

    #将浏览器的UA数据获取，封装到一个字典中。该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求，从中获取UA的值

    headers={

        'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'

    }

    #自定义一个请求对象

    #参数：url为请求的url。headers为UA的值。data为post请求的请求参数（后面讲）

    request = urllib.request.Request(url=url,headers=headers)

    #发送我们自定义的请求（该请求的UA已经进行了伪装）

    response = urllib.request.urlopen(request)

    data=response.read()

    with open('./周杰伦.html','wb') as fp:

        fp.write(data)

    print('写入数据完毕')