当前位置：首页 > news >正文

异步爬虫之aiohttp的使用

news 2025/7/7 17:59:46

在上一篇博客我们介绍了异步爬虫的基本原理和 asyncio 的基本用法，并且在最后简单提及了使用aiohttp 实现网页爬取的过程。本篇博客我们介绍一下 aiohttp 的常见用法。

基本介绍

前面介绍的 asyncio模块，其内部实现了对 TCP、UDP、SSL协议的异步操作，但是对于 HTTP 请求来说，就需要用 aiohttp 实现了。

aiohttp 是一个基于 asyncio 的异步 HTTP 网络模块，它既提供了服务端，又提供了客户端。其中我们用服务端可以搭建一个支持异步处理的服务器，这个服务器就是用来处理请求并返回响应的，类似于 Django、Flask、Tormado 等一些 Web服务器。而客户端可以用来发起请求,类似于使用 requests 发起一个 HTTP 请求然后获得响应，但 requests 发起的是同步的网络请求，aiohttp 则是异步的。

本篇博客我们主要了解一下 aiohttp 客户端部分的用法。

基本实例

我们来看一个基本的 aiohttp 请求案例，代码如下：

import aiohttp
import asyncioasync def fetch(session, url):async with session.get(url) as response:return await response.text(), response.statusasync def main():async with aiohttp.ClientSession() as session:html, status = await fetch(session, 'https://cuiqingcai.com')print(f'html:{html[:100]}...')print(f'status:{status}')if __name__ == '__main__':loop = asyncio.get_event_loop()loop.run_until_complete(main())

这里使用 aiohttp 爬取了本书作者的个人博客，获得了源码和响应状态码，并打印出来，运行结果如下:

html:<!DOCTYPE html>
<html lang="zh-CN"><head><meta charset="UTF-8"><meta name="viewport" content...
status:200

由于网页源码过长，这里只截取了输出的一部分。可以看到，我们成功获取了网页的源代码及响应状态码 200，也就是完成了一次基本的 HTTP请求，即我们成功使用 aiohttp 通过异步的方式完成了网页爬取。当然，这个操作用之前讲的 requests 也可以做到。

能够发现，aiohttp 的请求方法的定义和之前有明显的区别，主要包括如下几点。

首先在导人库的时候，除了必须引人 aiohttp这个库，还必须引人asyncio 库。因为要实现异步爬取，需要启动协程，而协程则需要借助于asyncio 里面的事件循环才能执行。除了事件循环asyncio 里面也提供了很多基础的异步操作。
异步爬取方法的定义和之前有所不同，每个异步方法的前面都要统一加 async 来修饰。
with as 语句前面同样需要加 async 来修饰。在 Pvthon 中，with as 语句用于声明一个上下文管理器，能够帮我们自动分配和释放资源。而在异步方法中，withas前面加上async代表声明一个支持异步的上下文管理器。
对于一些返回协程对象的操作，前面需要加 await 来修饰。例如 response 调用 text 方法，查询 API可以发现，其返回的是协程对象，那么前面就要加 await;而对于状态码来说，其返回值就是一个数值，因此前面不需要加 await。所以，这里可以按照实际情况做处理，参考官方文档说明，看看其对应的返回值是怎样的类型，然后决定加不加await 就可以了。
最后，定义完爬取方法之后，实际上是 main 方法调用了 fetch 方法。要运行的话，必须启用事件循环，而事件循环需要使用 asyncio库，然后调用 run_until_complete 方法来运行。

注意：在 Python 3.7 及以后的版本中，我们可以使用 asyncio.run(main())代替最后的启动操作，不需要显示声明事件循环，run 方法内部会自动启动一个事件循环。但这里为了兼容更多的Python 版本，依然显式声明了事件循环。

URL参数设置

对于 URL 参数的设置，我们可以借助 params 参数，传入一个字典即可，实例如下：

import aiohttp
import asyncioasync def main():params = {'name': 'germey', 'age': 25}async with aiohttp.ClientSession() as session:async with session.get('https://www.httpbin.org/get', params=params) as response:print(await response.text())if __name__ == '__main__':asyncio.get_event_loop().run_until_complete(main())

运行结果如下:

{"args": {"age": "25", "name": "germey"}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": "www.httpbin.org", "User-Agent": "Python/3.9 aiohttp/3.11.11", "X-Amzn-Trace-Id": "Root=1-677217f5-3bc6954d23f245465ccbb806"}, "origin": "111.18.92.1", "url": "https://www.httpbin.org/get?name=germey&age=25"
}

这里可以看到，实际请求的 URL 为 https://www.httpbin.org/get?name=germey&age-25，其中的参数对应于 params 的内容。

其他请求类型

aiohttp 还支持其他请求类型，如 POST、PUT、DELETE 等，这些和 requests 的使用方式有点类
似，实例如下:

session.post('http://www.httpbin.org/post',data=b'data')
session.put('http://www.httpbin.org/put', data=b'data')
session.delete('http://www.httpbin.org/delete')
session.head("http://www.httpbin.org/get')
session.options('http://www.httpbin.org/get')
session.patch('http://www.httpbin.org/patch', data=b'data')

要使用这些方法，只需要把对应的方法和参数替换一下。

POST请求

对于 POST表单提交,其对应的请求头中的Content-Type为application/x-www-form-urlencoded.我们可以用如下方式来实现:

import aiohttp
import asyncioasync def main():data = {'name': 'germey', 'age': 25}async with aiohttp.ClientSession() as session:async with session.post('https://www.httpbin.org/post', data=data) as response:print(await response.text())if __name__ == '__main__':asyncio.get_event_loop().run_until_complete(main())

运行结果如下：

{"args": {}, "data": "", "files": {}, "form": {"age": "25", "name": "germey"}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "18", "Content-Type": "application/x-www-form-urlencoded", "Host": "www.httpbin.org", "User-Agent": "Python/3.9 aiohttp/3.11.11", "X-Amzn-Trace-Id": "Root=1-67721981-6891ead2152d4e70567cd9ab"}, "json": null, "origin": "111.18.92.1", "url": "https://www.httpbin.org/post"
}

对于 POST JSON 数据提交，其对应的请求头中的 Content-Type 为 application/json，我们只需要将 post 方法里的 data 参数改成 json 即可，实例代码如下:

import aiohttp
import asyncioasync def main():data = {'name': 'germey', 'age': 25}async with aiohttp.ClientSession() as session:async with session.post('https://www.httpbin.org/post', json=data) as response:print(await response.text())if __name__ == '__main__':asyncio.get_event_loop().run_until_complete(main())

运行结果如下:

{"args": {}, "data": "{\"name\": \"germey\", \"age\": 25}", "files": {}, "form": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "29", "Content-Type": "application/json", "Host": "www.httpbin.org", "User-Agent": "Python/3.9 aiohttp/3.11.11", "X-Amzn-Trace-Id": "Root=1-67721ce2-0439155d5dce282c3803cca6"}, "json": {"age": 25, "name": "germey"}, "origin": "111.18.92.1", "url": "https://www.httpbin.org/post"
}

可以发现，其实现也和requests 非常像，不同的参数支持不同类型的请求内容。

响应

对于响应来说，我们可以用如下方法分别获取其中的状态码、响应头、响应体、响应体二进制内容、响应体 JSON 结果，实例代码如下:

import aiohttp
import asyncioasync def main():data = {'name': 'germey', 'age': 25}async with aiohttp.ClientSession() as session:async with session.post('https://www.httpbin.org/post', data=data) as response:print('status:', response.status)print('headers:', response.headers)print('body:', await response.text())print('bytes:', await response.read())print('json:', await response.json())if __name__ == '__main__':asyncio.get_event_loop().run_until_complete(main())

运行结果如下:

status: 200
headers: <CIMultiDictProxy('Date': 'Mon, 30 Dec 2024 04:40:46 GMT', 'Content-Type': 'application/json', 'Content-Length': '510', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true')>
body: {"args": {}, "data": "", "files": {}, "form": {"age": "25", "name": "germey"}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "18", "Content-Type": "application/x-www-form-urlencoded", "Host": "www.httpbin.org", "User-Agent": "Python/3.9 aiohttp/3.11.11", "X-Amzn-Trace-Id": "Root=1-6772244e-191cbb78229cbd5412777470"}, "json": null, "origin": "111.18.92.1", "url": "https://www.httpbin.org/post"
}bytes: b'{\n  "args": {}, \n  "data": "", \n  "files": {}, \n  "form": {\n    "age": "25", \n    "name": "germey"\n  }, \n  "headers": {\n    "Accept": "*/*", \n    "Accept-Encoding": "gzip, deflate", \n    "Content-Length": "18", \n    "Content-Type": "application/x-www-form-urlencoded", \n    "Host": "www.httpbin.org", \n    "User-Agent": "Python/3.9 aiohttp/3.11.11", \n    "X-Amzn-Trace-Id": "Root=1-6772244e-191cbb78229cbd5412777470"\n  }, \n  "json": null, \n  "origin": "111.18.92.1", \n  "url": "https://www.httpbin.org/post"\n}\n'
json: {'args': {}, 'data': '', 'files': {}, 'form': {'age': '25', 'name': 'germey'}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Content-Length': '18', 'Content-Type': 'application/x-www-form-urlencoded', 'Host': 'www.httpbin.org', 'User-Agent': 'Python/3.9 aiohttp/3.11.11', 'X-Amzn-Trace-Id': 'Root=1-6772244e-191cbb78229cbd5412777470'}, 'json': None, 'origin': '111.18.92.1', 'url': 'https://www.httpbin.org/post'}

可以看到，这里有些字段前面需要加 await，有些则不需要。其原则是，如果返回的是一个协程对象(如 async修饰的方法),那么前面就要加 await,具体可以看 aiohttp的API,其链接为:https://docs.aiohttp.org/en/stable/client_reference.html.

超时设置

我们可以借助 clientTimeout 对象设置超时，例如要设置1秒的超时时间，可以这么实现:

import aiohttp
import asyncioasync def main():timeout = aiohttp.ClientTimeout(total=1)async with aiohttp.ClientSession(timeout=timeout) as session:async with session.get('https://www.httpbin.org/get') as response:print('status:', response.status)if __name__ == '__main__':asyncio.get_event_loop().run_until_complete(main())

如果在1秒之内成功获取响应，那么运行结果如下:

如果超时，则会抛出 TimeoutError 异常，其类型为 asyncio.TimeoutError，我们进行异常捕获即可。另外，声明clientTimeout对象时还有其他参数，如connect、socket、connect等，详细可以参考官方文档:https://docs.aiohttp.org/en/stable/client_quickstart.html#timeouts。

并发限制

由于 aiohttp 可以支持非常高的并发量，如几万、十万、百万都是能做到的，但面对如此高的并发量，目标网站很可能无法在短时间内响应，而且有瞬间将目标网站爬挂掉的危险，这提示我们需要控制一下爬取的并发量。

一般情况下，可以借助 asyncio 的 Semaphore 来控制并发量，实例代码如下:

import aiohttp
import asyncioCONCURRENCY = 5
URL = 'https://www.baidu.com'
semaphore = asyncio.Semaphore(CONCURRENCY)
session = Noneasync def scrape_api():async with semaphore:print('scraping', URL)async with session.get(URL) as response:await asyncio.sleep(1)return await response.text()async def main():global sessionsession = aiohttp.ClientSession()scrape_index_tasks = [asyncio.ensure_future(scrape_api()) for _ in range(10000)]await asyncio.gather(*scrape_index_tasks)if __name__ == '__main__':asyncio.get_event_loop().run_until_complete(main())

参考文献

https://docs.aiohttp.org/

异步爬虫之aiohttp的使用

在上一篇博客我们介绍了异步爬虫的基本原理和 asyncio 的基本用法，并且在最后简单提及了使用aiohttp 实现网页爬取的过程。本篇博客我们介绍一下 aiohttp 的常见用法。基本介绍前面介绍的 asyncio模块，其内部实现了对 TCP、UDP、SSL协议的异步操作&a…...

编程日记 2025/1/3 23:08:46

【Rust自学】9.1. 不可恢复的错误以及panic!

喜欢的话别忘了点赞、收藏加关注哦，对接下来的教程有兴趣的可以关注专栏。谢谢喵！(･ω･) 9.1.1. Rust错误处理概述 Rust拥有极高的可靠性，这也延伸到了错误处理的领域。比如说在大部分情况下，Rust会迫使你…...

编程日记 2025/1/3 23:05:38

【老张的程序人生】一天时间，我成软考高级系统分析师

今年下半年，我心血来潮报考了软考高级系统分析师。彼时的我，工作繁忙至极，一周十四节课，班主任的职责压身，还兼任教学管理事务，每日忙得晕头转向，那点可怜的闲暇时光，也都奉献给了游…...

编程日记 2025/1/3 23:02:33

vue使用el-select下拉框自定义复选框

在 Vue 开发中，高效且美观的组件能极大地提升用户体验和开发效率。在vue中使用elementplus 的 el-select下拉框实现了一个自定义的多选下拉框组件。一、代码功能概述这段代码创建了一个可多选的下拉框组件，通过el-select和el-checkbox-group结合的方…...

编程日记 2025/1/3 23:00:31

k8s基础(2)—Kubernetes-Namespace

一、Namespace概述名字空间在 Kubernetes 中，名字空间（Namespace） 提供一种机制，将同一集群中的资源划分为相互隔离的组。同一名字空间内的资源名称要唯一，但跨名字空间时没有这个要求。名字空间作用域仅针对带有…...

编程日记 2025/1/3 22:54:25

APM for Large Language Models

APM for Large Language Models 随着大语言模型（LLMs）在生产环境中的广泛应用，确保其可靠性和可观察性变得至关重要。应用性能监控（APM）在这一过程中发挥了关键作用，帮助开发者和运维人员深入了解LLM系统的…...

编程日记 2025/1/3 22:53:21

Spark Runtime Filter

Runtime Filter 参考链接： https://docs.google.com/document/d/16IEuyLeQlubQkH8YuVuXWKo2-grVIoDJqQpHZrE7q04/edit?tabt.0https://www.modb.pro/db/557718https://issues.apache.org/jira/browse/SPARK-32268https://github.com/apache/spark/pull/35789https…...

编程日记 2025/1/3 22:51:16

AI大模型系列之七：Transformer架构讲解

目录 Transformer网络是什么？ 输入模块结构： 编码器模块结构： 解码器模块: 输出模块结构： Transformer 具体是如何工作的？ Transformer核心思想是什么？ Transformer的代码架构自注意力机制是什么…...

编程日记 2025/1/3 22:49:13

基于51单片机（STC12C5A60S2）和8X8彩色点阵屏（WS2812B驱动）的小游戏《贪吃蛇》（普中开发板矩阵按键控制）

目录系列文章目录前言一、效果展示二、原理分析三、各模块代码1、定时器02、矩阵按键3、8X8彩色点阵屏四、主函数总结系列文章目录前言《贪吃蛇》，一款经典的、怀旧的小游戏，单片机入门必写程序。以《贪吃蛇》为载体，熟悉各种屏幕的使…...

编程日记 2025/1/3 22:48:02

遇到复杂的递归查询sql 需要oracle 转pgsql 可以把数据表结构给ai

遇到复杂的递归查询sql 需要oracle 转pgsql 可以把数据表结构给ai 并且建立备份表把需要的很少的数据放到表里面这样 ai 可以很好的判断sql 咋写还可以，让ai解释oracle sql 然后拿到描述和表和字段，给ai让他生成pgsql 的sql，亲测有效...

编程日记 2025/1/3 22:46:59

Zynq PS端外设之GPIO

1. GPIO（通用输入/输出） GPIO外设有4个Bank，Bank0/1通过MIO连接到PS的引脚上；Bank2/3通过EMIO连接到PL的引脚上。注意：Bank1的电平要改成LVCOMS 1.8 GPIO寄存器寄存器： DATA_RO： 读取GPIO的输…...

编程日记 2025/1/3 22:45:58

Spring Boot项目开发常见问题及解决方案（上）

启动相关问题问题 1：项目启动时报错“找不到主类” 在使用 Spring Boot 打包成可执行 JAR 文件后启动，有时会遇到这个头疼的问题。通常是因为打包配置有误或者项目结构不符合要求。解决方案： 首先，检查 pom.xml（Ma…...

编程日记 2025/1/3 22:44:57

Elasticsearch: 高级搜索

这里写目录标题一、match_all匹配所有文档1、介绍： 二、精确匹配1、term单字段精确匹配查询2、terms多字段精确匹配3、range范围查询4、exists是否存在查询5、ids根据一组id查询6、prefix前缀匹配7、wildcard通配符匹配8、fuzzy支持编辑距离的模糊查询9、regexp正则…...

编程日记 2025/1/3 22:39:53

STM32 拓展电源控制

目录电源控制电源框图 VDDA供电区域 VDD供电区域 1.8V低电压区域后备供电区域电压调节器上电复位和掉电复位可编程电压检测器（PVD）低功耗睡眠模式（只有CUP（老板）睡眠）进入睡眠模式退出睡眠模式停机（停止）模式（只留核心区域（上班））进入停…...

编程日记 2025/1/3 22:31:45

SpringBootWeb案例-1

文章目录 SpringBootWeb案例1. 准备工作1.1 需求&环境搭建1.1.1 需求说明1.1.2 环境搭建 1.2 开发规范 2. 部门管理2.1 查询部门2.1.1 原型和需求2.1.2 接口文档2.1.3 思路分析2.1.4 功能开发2.1.5 功能测试 2.2 前后端联调2.3 删除部门2.3.1 需求2.3.2 接口文档2.3.3 思路…...

编程日记 2025/1/3 22:28:42

HTML——57. type和name属性

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>type和name属性</title></head><body><!--2.input元素不仅可以在form标签内使用也可以在form标签外使用-…...

编程日记 2025/1/3 22:27:40

应用架构模式-总体思路

采用引导式设计方法：以企业级架构为指导，形成较为齐全的规范指引。在实践中总结重要设计形成决策要点，一个决策要点对应一个设计模式。自底向上总结采用该设计模式的必备条件，将之转化通过简单需求分析就能得到的业务特点&#xf…...

编程日记 2025/1/3 22:26:39

vue 虚拟滚动 vue-virtual-scroller RecycleScroller

vue 3 https://github.com/Akryum/vue-virtual-scroller/blob/master/packages/vue-virtual-scroller/README.md vue 2 https://github.com/Akryum/vue-virtual-scroller/tree/v1/packages/vue-virtual-scroller npm install --save vue-virtual-scrollernextmain.js // 虚拟滚…...

编程日记 2025/1/3 22:24:36

基本介绍

基本实例

URL参数设置

其他请求类型

POST请求

响应

超时设置

并发限制

参考文献

相关文章：