Python爬虫01

requests模块

文档

• 安装

pip/pip3  install  requests

• response.text 和 response.content的区别

1.response.text 等价于 response.content.decode("推测出的编码字符集")response.text
类型：str
编码类型：requests模块自动根据Http头部对响应的编码（response.encoding）作出有根据的推测，推测的文本编码response.content
类型：bytes
编码类型：没有指定2.通过对response.content进行decode,来解决中文乱码
response.content.decode() 默认utf-8
response.content.decode("gbk")
常见的编码集
utf-8
gbk
gb2312
ascii
iso-8859-1 3.response响应对象的其他常用属性或方法
response.url 响应url(有时候响应url和请求url不一致)
response.status_code 响应状态码
response.request.headers 响应对应的请求头
response.headers 响应头
response.request._cookies 响应对应请求的cookie;返回cookieJar类型
response.cookies 响应cookie(经过set-cookie动作；返回cookieJar类型)
response.json() 自动将json字符串类型的响应内容转换为python对象

• headers参数的使用

requests.get(url, headers=headers)- headers 参数接收字典形式的请求头- 请求头字段名作为key,字段对应的值作为value

• 发送带参数的请求

- 直接URL上拼接https://www.baidu.com/s?wd=python- 构建字典，交给paramskw = {"wd":"python"}requests.get(url, headers=headers, paramas=kw)

• headers中携带cookie

requests.get(url, headers=headers)

• cookies参数的使用

保持会话
# 构建cookie字典
requests.get(url, cookies=cookies)

• cookieJar的转换方法

1.转换方法
cookies_dict = resquests.utils.dict_from_cookiejar(response.cookies)
2.其中response.cookies返回的就是cookiejar类型的对象
3.requests.utils.dict_from_cookiejar 函数返回cookies字典 

• 超时时间timeout的使用

response = requests.get(url, timeout=3)

• 代理ip参数proxies的使用

response = requests.get(url, proxies=proxies)
proxies的形式：字典
eg:
proxies = {"http":"http://xxxx","https":"https://xxx"
}

• 使用verify参数忽略CA证书

verify=False
verify 参数能忽略CA证书的认证import requests
url = "xxxx"
response = requests.get(url, verify=False) 

• requests发送post请求

response = requests.post(url, data)
data 参数接收一个字典 

• requests.session进行状态保持

requests.session的作用自动处理cookie,即下一次请求会带上前一次的cookie
requests.session的应用场景自动处理连续的多次请求过程中产生的cookie
requests.session的使用方法session = requests.session()  #实例化session对象response = session.get(url, headers, ...)response = session.post(url, data, ...)session对象发送get或者post请求的参数，与requests模块发送请求的参数完全一致