网络爬虫requests库使用指南

目录

引言

安装requests库

基本用法

发送GET请求

发送POST请求

处理请求头和Cookies

设置请求头

使用Cookies

会话管理

异常处理

流式上传和下载

结语

---

引言

        在Python中进行HTTP请求时，requests库是一个强大且易于使用的第三方库。它允许你发送各种HTTP请求，如GET、POST、PUT、DELETE等，并且可以轻松处理请求头、Cookies、会话等。本文将详细介绍requests库的基本用法。

安装requests库

在开始之前，确保你的环境中安装了requests库。如果尚未安装，可以通过以下命令进行安装：

pip install requests

基本用法

发送GET请求

GET请求通常用于从服务器请求数据。使用requests发送GET请求非常简单：

import requests# 发送GET请求
response = requests.get('https://www.example.com')# 打印响应内容
print(response.text)

发送POST请求

POST请求用于向服务器提交数据。以下是如何使用requests发送POST请求的示例：

# 发送POST请求
payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.example.com', data=payload)# 打印响应内容
print(response.text)

处理请求头和Cookies

设置请求头

网络爬虫设置代理服务器-CSDN博客，这篇有详细解释，请求头怎么通过F12查询哦！

请求头可以提供额外的信息，如用户代理、内容类型等：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)','Content-Type': 'application/json'
}response = requests.get('https://www.example.com', headers=headers)

使用Cookies

Cookies用于维护会话状态，可以通过字典传递给requests：

cookies = {'session_token': 'abc123'}response = requests.get('https://www.example.com', cookies=cookies)

会话管理

requests提供了会话对象，用于在多个请求之间保持某些参数：

with requests.Session() as session:session.headers.update({'Authorization': 'Bearer your_token_here'})response = session.get('https://www.example.com/api/resource')

异常处理

使用requests时，可能会遇到各种异常，如连接错误、超时等。使用try-except块来处理这些异常：

try:response = requests.get('https://www.example.com', timeout=0.01)
except requests.exceptions.Timeout:print("请求超时")
except requests.exceptions.RequestException as e:print(f"请求异常: {e}")

流式上传和下载

requests支持流式上传和下载，适合处理大文件：

# 流式下载
with requests.get('https://www.example.com/largefile', stream=True) as r:with open('localfile', 'wb') as f:for chunk in r.iter_content(chunk_size=8192):f.write(chunk)# 流式上传
with open('localfile', 'rb') as f:files = {'file': ('localfile', f)}response = requests.post('https://www.example.com/upload', files=files)

结语

requests库是Python中进行HTTP请求的强大工具。它简洁的API使得发送请求、处理响应变得非常简单。本文介绍了requests的基本用法，包括GET和POST请求、设置请求头和Cookies、会话管理、异常处理以及流式上传和下载。掌握这些基础，将有助于你在项目中更高效地使用网络请求。