Python异步编程从入门到不懵：asyncio实战踩坑指南

作为一个写了6年Python的人我之前一直对异步编程敬而远之。直到上周要写个爬虫并发量要求上千同步写法根本扛不住硬着头皮啃了三天asyncio踩了大大小小8个坑搞到凌晨两点才跑通。今天把这些坑整理出来看完你至少能少走3天弯路。为什么你学asyncio总懵说实话很多人学asyncio学不明白真不是你笨是教程都讲得太飘了。上来就给你讲协程、事件循环、Future、Task这些概念听得人云里雾里看完还是不知道怎么写能用的代码。我这次也是被逼到份上了边踩坑边学才发现asyncio其实没那么复杂核心就是解决IO密集型任务的并发问题不用搞那么多虚头巴脑的概念。踩坑1别在异步代码里写同步IO血泪教训这是我踩的第一个坑也是最蠢的一个。我一开始写的时候直接把之前同步的requests请求放到了async函数里跑起来发现速度一点没变快跟同步没区别。查了半天才搞明白异步代码里如果有同步IO操作比如requests、time.sleep、普通的文件读写会把整个事件循环都卡住其他任务根本没法执行。# ❌ 错误写法requests是同步库会卡住整个事件循环importasyncioimportrequestsasyncdeffetch_url(url):resprequests.get(url)# 这里会卡住returnresp.status_codeasyncdefmain():tasks[fetch_url(fhttps://example.com/page/{i})foriinrange(10)]awaitasyncio.gather(*tasks)asyncio.run(main())✅ 正确写法要用对应的异步库比如aiohttp代替requestsasyncio.sleep代替time.sleepaiofiles代替普通文件读写。# ✅ 正确写法用异步IO库importasyncioimportaiohttpasyncdeffetch_url(url,session):asyncwithsession.get(url)asresp:returnresp.statusasyncdefmain():asyncwithaiohttp.ClientSession()assession:tasks[fetch_url(fhttps://example.com/page/{i},session)foriinrange(10)]awaitasyncio.gather(*tasks)asyncio.run(main())如果你实在找不到对应的异步库非要用同步代码怎么办用asyncio.to_thread把同步代码扔到单独的线程里跑别卡住事件循环就行。踩坑2不要随便用run_until_complete很多老教程里都会教你用loop.run_until_complete来运行异步任务其实Python 3.7之后官方已经推荐用asyncio.run()了。run_until_complete有个大坑如果你手动创建了事件循环用完没关闭下次再用的时候可能会报各种各样的奇怪错误比如事件循环已经关闭或者任务已经被销毁之类的。asyncio.run()会自动帮你管理事件循环的生命周期用完自动关闭省了很多麻烦。除非你有特别的需求要手动管理事件循环否则直接用asyncio.run()就对了。踩坑3Task不是越多越好我一开始写爬虫的时候想着并发越高越好一口气创建了1000个Task结果跑了两分钟就崩了报连接被重置的错误。后来才知道虽然异步并发开销小但也不是无限的。你创建太多Task的话首先服务器扛不住这么多并发请求会给你限流或者直接封IP其次本地的TCP连接数也有上限开太多会占满端口。一般来说爬虫类的任务并发控制在50-200之间就差不多了具体要看目标网站的抗压能力。怎么控制并发用asyncio.Semaphore信号量简单好用importasyncioimportaiohttp# 最多同时跑50个任务semaphoreasyncio.Semaphore(50)asyncdeffetch_url(url,session):asyncwithsemaphore:# 用信号量控制并发asyncwithsession.get(url)asresp:returnawaitresp.text()asyncdefmain():asyncwithaiohttp.ClientSession()assession:tasks[fetch_url(fhttps://example.com/page/{i},session)foriinrange(1000)]awaitasyncio.gather(*tasks)asyncio.run(main())踩坑4异常处理不到位导致程序崩溃异步代码的异常处理跟同步代码有点不一样如果你不处理Task里的异常整个程序可能会直接崩溃而且你还不知道哪里出了问题。我之前写的时候有个请求超时了没处理直接导致整个爬虫程序挂了跑了半小时的数据差点丢了。两种处理异常的方式第一种是在async函数内部用try/except捕获asyncdeffetch_url(url,session):try:asyncwithsession.get(url,timeout10)asresp:returnawaitresp.text()exceptExceptionase:print(f请求{url}失败{e})returnNone第二种是在gather的时候加return_exceptionsTrue这样某个任务出错不会影响其他任务异常会作为结果返回# 某个任务出错不会导致整个gather失败resultsawaitasyncio.gather(*tasks,return_exceptionsTrue)# 然后遍历results处理异常forresultinresults:ifisinstance(result,Exception):print(f任务出错{result})推荐两种方式结合用双重保险避免程序莫名其妙崩掉。踩坑5别在异步代码里用多线程/多进程我之前想当然觉得异步多线程肯定更快啊结果搞出来的代码比纯同步还慢。其实asyncio本身就是单线程跑的你如果在异步代码里乱开多线程反而会因为线程切换开销拖慢速度还可能会出现线程安全问题。如果你真的需要用多进程处理CPU密集型任务可以用asyncio的run_in_executor把CPU任务扔到进程池里跑但是别自己瞎开线程/进程。还有啊别在不同的线程里调用同一个事件循环的方法会出各种奇奇怪怪的问题asyncio的事件循环不是线程安全的。踩坑6忘了await异步函数这个坑看起来很蠢但真的很多人踩包括我自己。有时候写代码写嗨了调用async函数的时候忘了加await结果代码跑起来什么反应都没有还找半天bug。# ❌ 错误没有await这个函数不会执行只会返回一个coroutine对象fetch_url(url,session)# ✅ 正确加await才会执行awaitfetch_url(url,session)如果你看到控制台报RuntimeWarning: coroutine ‘xxx’ was never awaited的警告别犹豫肯定是哪里漏了await。踩坑7asyncio.sleep(0)不是没用的很多人不知道asyncio.sleep(0)是干嘛的觉得睡0秒有啥用其实这个是手动让出CPU时间片的操作如果你有一个计算量很大的异步任务会一直占着事件循环导致其他任务得不到执行。这个时候在循环里加个await asyncio.sleep(0)就能主动让出控制权让其他任务也有机会跑。asyncdefheavy_compute_task():foriinrange(100000):# 做一些计算compute(i)# 每循环一次让出一次CPUawaitasyncio.sleep(0)这个技巧在做CPU密集型异步任务的时候特别好用不会让整个程序卡住。踩坑8关闭事件循环前要等所有任务完成如果你的程序要退出的时候还有没跑完的Task直接关闭事件循环的话会报Task was destroyed but it is pending!的错误。正确的做法是在退出前先获取所有未完成的Task等它们跑完或者手动取消掉asyncdefmain():# 你的业务代码...if__name____main__:loopasyncio.get_event_loop()try:loop.run_until_complete(main())finally:# 取消所有未完成的任务pendingasyncio.all_tasks(loop)fortaskinpending:task.cancel()# 等待任务取消完成loop.run_until_complete(asyncio.gather(*pending,return_exceptionsTrue))# 关闭事件循环loop.close()不过如果你用asyncio.run()的话它会自动帮你处理这些事情不用自己写这么多代码。写在最后说实话asyncio真的没有很多教程说的那么难大部分人学不会都是被那些复杂的概念吓退了。你完全可以先不管什么协程、事件循环这些底层概念先照着例子写能用的代码写多了自然就理解了。我之前也是觉得异步编程特别高深这次踩了一遍坑下来发现其实常用的功能就那么几个gather、Semaphore、异常处理掌握这几个大部分场景都够用了。如果你也在学asyncio的过程中遇到什么问题欢迎评论区交流我看到都会回复。