Python中的Requests库：HTTP请求的简单之道

目录

一、安装Requests库

二、发送请求

2.1 GET请求

2.2 POST请求

2.3 其他HTTP方法

三、处理响应

3.1 状态码

3.2 响应内容

3.3 自定义请求头

3.4 更多响应对象属性和方法

四、错误处理

五、高级请求

5.1 会话对象

5.2 SSL证书验证

5.3 设置代理

Http/Https代理

使用 SOCKS 代理

高级代理配置

六、其他拓展

chardet库

---

在Python的世界里，网络请求是日常开发中不可或缺的一部分。从简单的数据获取到复杂的API交互，我们都需要用到HTTP请求。而Requests库，作为Python中处理HTTP请求的利器，以其简洁的API和强大的功能，赢得了广大开发者的青睐。

一、安装Requests库

在开始之前，您需要确保已经安装了Requests库。如果您尚未安装，可以通过pip安装：

pip install requests

二、发送请求

使用Requests发送请求非常简单。下面是一些基本示例：

2.1 GET请求

GET请求是最常见的HTTP请求类型之一，用于从指定的资源请求数据。

import requestsresponse = requests.get('https://api.github.com')print(response.status_code)  # 打印状态码
print(response.content)  # 打印响应内容

2.2 POST请求

POST请求通常用于提交数据给指定的资源，比如提交表单。

import requestsdata = {'key': 'value'}
response = requests.post('https://httpbin.org/post', data=data)print(response.json())  # 打印JSON响应内容

2.3 其他HTTP方法

类似地，Requests支持其他所有HTTP方法：PUT、DELETE、HEAD、OPTIONS、PATCH。

response = requests.put('https://httpbin.org/put', data={'key': 'value'})
response = requests.delete('https://httpbin.org/delete')
response = requests.head('https://httpbin.org/get')
response = requests.options('https://httpbin.org/get')
response = requests.patch('https://httpbin.org/patch', data={'key': 'value'})

三、处理响应

当你发送一个请求后，Requests会返回一个响应对象。这个对象包含了请求的结果，例如：内容、编码、状态码等。

3.1 状态码

你可以通过status_code属性来获取服务器响应的HTTP状态码。

response = requests.get('https://api.github.com')
status_code = response.status_code
if status_code == 200:print('Success!')
elif status_code == 404:print('Not Found.')

3.2 响应内容

你可以使用text或content属性来获取服务器返回的内容。text属性会基于HTTP头部对响应的编码进行解码，而content是字节码形式。

response = requests.get('https://api.github.com')
print(response.text)  # 返回Unicode格式的响应文本
print(response.content)  # 返回字节流格式的响应内容

如果响应是JSON格式，可以直接使用json()方法将其解析成Python的字典格式。

response = requests.get('https://api.github.com')
if response.status_code == 200:print(response.json())  # 解析JSON响应

3.3 自定义请求头

Requests允许你发送自定义的HTTP头部。你可以通过传递一个字典给headers参数来实现。

headers = {'User-Agent': 'My App/0.0.1','Accept': 'application/vnd.github.v3+json',
}response = requests.get('https://api.github.com', headers=headers)

3.4 更多响应对象属性和方法

属性/方法	描述
status_code	一个表示HTTP响应状态码的整数。例如，200表示成功，404表示未找到。
text	响应内容的字符串形式，Requests根据HTTP头部的编码进行自动解码。
content	响应内容的原始字节形式，适用于非文本响应内容。
json()	如果响应内容是JSON格式，这个方法会解析响应内容并返回一个字典。
headers	一个字典，包含HTTP响应的头部。头部名称全部为小写。
url	获取发出请求的URL。
cookies	一个CookieJar对象，包含服务器发送的所有cookies。
history	如果有重定向，这是一个响应对象的列表，包含了历史中间的响应对象。
encoding	从HTTP头部中推断出的响应内容编码。你可以修改这个属性来改变文本的编码。
reason	与响应的状态码对应的文本表示，例如'Not Found'或'OK'。
elapsed	一个timedelta对象，表示从发送请求到响应被完全接收的时间间隔。
raise_for_status()	如果响应的状态码指示一个HTTP错误，将抛出一个HTTPError异常。
iter_content()	一个生成器，逐块提供响应内容，可以指定每块的大小。用于流式下载。
iter_lines()	一个生成器，按行迭代响应内容，适用于流式下载文本内容。
raw	原始响应对象，通常用于低级的响应处理，如：文件下载。
ok	一个快速检查响应是否成功的布尔值（状态码在200-400之间）。
is_redirect	如果响应是重定向，返回True。
is_permanent_redirect	如果响应是一个永久重定向，返回True。
links	返回包含解析头部中链接的字典（如Link响应头）。
next	如果有可用的下一个请求的URL，这个属性将包含这个URL。
apparent_encoding	字符集检测库（chardet）的推断编码，它可能不总是正确的。
connection	HTTP连接对象。
iter_content(chunk_size=1, decode_unicode=False)	按照指定的块大小迭代响应数据，可选的解码Unicode。
iter_lines(chunk_size=512, decode_unicode=None, delimiter=None)	逐行迭代响应，允许指定行分隔符。
close()	释放网络连接（如果是保持活动状态的话）。

四、错误处理

当发生网络问题（如：DNS查询失败、拒绝连接等）或者失败的请求（请求超时、HTTP响应错误等）时，Requests可以抛出一个异常。

from requests.exceptions import HTTPError, Timeouttry:response = requests.get('https://api.github.com', timeout=1)response.raise_for_status()
except HTTPError as http_err:print(f'HTTP error occurred: {http_err}')
except Timeout as timeout_err:print(f'Timeout error occurred: {timeout_err}')
except Exception as err:print(f'Other error occurred: {err}')

五、高级请求

Requests还支持更高级的功能，比如会话对象、SSL证书验证、Cookie持久化等。

5.1 会话对象

会话对象允许你跨请求保持某些参数。它也会在同一个Session实例发出的所有请求之间保持cookie。

with requests.Session() as session:session.get('https://httpbin.org/cookies/set/sessioncookie/123456789')response = session.get('https://httpbin.org/cookies')print(response.text)  # 显示cookie信息

5.2 SSL证书验证

默认情况下，Requests会验证SSL证书，但你可以禁用它。

requests.get('https://kennethreitz.com', verify=False)

请注意，不建议在生产代码中禁用SSL证书验证，因为这会导致安全问题。

5.3 设置代理

Requests 库支持 HTTP 代理，这意味着您可以通过指定代理服务器来发送请求，从而隐藏您的原始 IP 地址或绕过网络限制。以下是关于如何在 Requests 中使用代理的简要说明。

Http/Https代理

要在请求中使用代理，您可以在发送请求时通过 proxies 参数传递一个代理字典。例如：

import requestsproxies = {'http': 'http://10.10.1.10:3128','https': 'https://10.10.1.11:1080',
}response = requests.get('http://example.org', proxies=proxies)

在上面的代码中，我们定义了一个 proxies 字典，其中包含用于 HTTP 和 HTTPS 请求的代理服务器地址。然后，我们在 requests.get() 函数的 proxies 参数中使用了这个字典。

使用 SOCKS 代理

Requests 也支持 SOCKS 协议，但这需要安装额外的第三方库 PySocks（可以通过 pip install PySocks 来安装）。一旦安装了 PySocks，您就可以使用 SOCKS 协议的代理。例如：

import requestsproxies = {'http': 'socks5://user:password@host:port','https': 'socks5://user:password@host:port'
}response = requests.get('http://example.org', proxies=proxies)

高级代理配置

Requests 库还允许您进行更高级的代理配置。比如，如果您想对某个特定的网站使用代理，而其他网站不使用，您可以针对特定主机设置代理：

import requestsproxies = {'http': 'http://10.10.1.10:3128','http://some.site': 'http://10.10.1.10:3128',
}response = requests.get('http://some.site', proxies=proxies)

六、其他拓展

chardet库

结合requests和chardet可以很方便地处理网络请求中的编码问题。requests库虽然在许多情况下能够自动处理响应的编码，但在一些复杂或特殊的情景中，自动检测的编码可能不准确。在这种情况下，chardet可以作为一个强大的工具来帮助确定正确的字符编码。

基本流程

1. 发送网络请求：首先使用requests发送HTTP请求。
2. 获取原始字节内容：从响应中获取未解码的原始字节内容。
3. 使用chardet检测编码：将原始字节内容传递给chardet.detect()函数，获取可能的编码。
4. 解码内容：根据chardet返回的编码信息，解码原始字节内容。

示例代码

import requests
import chardet# 发送网络请求
response = requests.get('http://example.com')# 获取响应的原始字节内容
raw_bytes = response.content# 使用chardet检测字节串的编码
detected_info = chardet.detect(raw_bytes)
encoding = detected_info['encoding']# 根据检测到的编码解码字节串
if encoding:decoded_content = raw_bytes.decode(encoding)print(decoded_content)
else:print("编码检测失败")

注意事项

• 字符编码检测不是100%准确的。chardet提供了一个自信度分数，表示它对推测的准确性有多确信，但有时它可能也会猜错。
• 对于较短的文本，检测的准确性可能会降低，因为可用于分析的样本数量较少。
• chardet可能会比较慢，尤其是在处理大文件时。如果性能是一个问题，应该考虑仅在必要时使用它。
• 在某些场景下，已知的或预期的编码，手动指定编码可能更为高效和准确。