实战爬虫对抗 · 第 2 篇：请求层对抗——用好 requests 打穿 80% 简单反爬

一、前情回顾先把“长相”整对再谈对抗在第 1 篇里我们画了一张反爬全景图。请求层是最外圈的一道“身份证检查”浏览器发的是一整套 Header Cookie 正常流程新手脚本只发一个裸requests.get(url)很多时候你压根还没走到频率控制、JS 动态、签名这些高难度问题就已经被挡在请求层了。所以本篇的目标很简单让你的请求看起来像一个正常浏览器发出来的请求。二、从抓包开始先搞清楚“浏览器到底发了什么”1. 正确使用浏览器开发者工具以 Chrome 为例步骤打开目标页面按F12打开开发者工具切到Network面板刷新页面或执行你平时的点击操作观察中间的请求列表选中某个请求查看HeadersRequest URL / Method / Status Code / Request Headers / Query StringPreview或Response看返回的是 HTML 还是 JSON常见误区只看“第一个”请求通常只是 HTML但数据其实在后面的 XHR 里只看 URL不看 Header 和 Cookie直接requests.get(url)就上2. 如何判断“哪个接口是真正的数据源”几个经验切到XHR过滤只看 AJAX 请求看Response返回 JSON/结构化数据的一般就是你要的改动页面上的筛选条件/翻页看哪个请求的参数跟着变化记录这个请求URL含 query 参数MethodGET/POSTRequest Headers至少记下关键几个Request PayloadPOST 的 body找到“真正的数据接口”你已经赢一大半了。三、浏览器 VS requests差了哪些东西假设你在 Chrome 抓到一个接口GET https://example.com/api/list?page1pageSize20请求头大致是User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...Accept: application/json, text/javascript, */*; q0.01Accept-Language: zh-CN,zh;q0.9Referer: https://example.com/listX-Requested-With: XMLHttpRequestCookie: sessionabc123; tokenxyz789;而你原来的代码可能写成这样import requests resp requests.get(https://example.com/api/list?page1pageSize20) print(resp.status_code, len(resp.text))对比一下就能看出来UA 不像浏览器没有Accept/Accept-Language没有Referer最关键没有 Cookie也就没有登录态/会话信息网站一看这访客啥都没有还直打 API80% 概率是脚本。四、第一步伪装成“像样一点”的浏览器请求1. 正确设置 headers从抓包里把有用的请求头抄出来 import requests session requests.Session() headers { User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 ), Accept: application/json, text/javascript, */*;q0.01, Accept-Language: zh-CN,zh;q0.9, Referer: https://example.com/list, X-Requested-With: XMLHttpRequest, # 一些站点可能还需要 Origin Origin: https://example.com, } 然后发请求 url https://example.com/api/list?page1pageSize20 resp session.get(url, headersheaders, timeout10) print(resp.status_code, resp.text[:200])2. 不要盲目“全抄”有几点要注意不要把Host、Content-Length这类头硬写死交给requests自己算即可某些sec-ch-ua、sec-fetch-*头可以不写写了也要保证格式正确重点优先照顾User-Agent / Accept / Accept-Language / Referer / Origin / Cookie五、第二步正确使用Session复用连接与 Cookierequests里最容易被忽略的一个点Session不只是“方便”而是“会话”的基本单位。1. 为什么必须用 Session复用 TCP 连接减少重复握手提高性能自动携带 Cookie你访问一次首页后再访问接口Cookie 会自动带上方便统一处理 headers / proxies / hooks 等示例import requests session requests.Session() base_headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..., Accept-Language: zh-CN,zh;q0.9, Connection: keep-alive, } def get_homepage(): url https://example.com/list resp session.get(url, headersbase_headers, timeout10) print(首页状态, resp.status_code) # 此时服务器可能会在 response headers 里 Set-Cookie # session 对象会自动保存这些 Cookie def get_api(page1): url https://example.com/api/list params {page: page, pageSize: 20} headers { **base_headers, Referer: https://example.com/list, X-Requested-With: XMLHttpRequest, } resp session.get(url, headersheaders, paramsparams, timeout10) print(API 状态, resp.status_code) return resp if __name__ __main__: get_homepage() # 先访问首页建立会话 r get_api(1) print(r.text[:200])关键点不要一上来就直打 API很多站点要求你先正常访问页面服务器才会给你下发必要的 Cookie/token。六、第三步封装一个“稳定请求器”——重试 分类只会写requests.get还不够工程化你至少需要重试针对网络抖动、临时超时失败分类网络失败 / 403 / 429 / 风控页基本的日志输出方便后面接监控1. 一个简单的结果模型from dataclasses import dataclass dataclass class FetchResult: ok: bool status_code: int text: str elapsed: float reason: str 2. 带重试的 GET 封装import time import random import requests class HttpClient: def __init__(self, timeout15): self.session requests.Session() self.timeout timeout def get(self, url, headersNone, paramsNone, cookiesNone, max_retries3, base_sleep0.8) - FetchResult: last_exc None for attempt in range(max_retries): t0 time.time() try: r self.session.get( url, headersheaders, paramsparams, cookiescookies, timeoutself.timeout, allow_redirectsTrue, ) elapsed time.time() - t0 return FetchResult(True, r.status_code, r.text, elapsed) except requests.RequestException as e: elapsed time.time() - t0 last_exc e # 指数退避 抖动 sleep_s base_sleep * (2 ** attempt) random.uniform(0, 0.35) time.sleep(sleep_s) return FetchResult(False, 0, , 0.0, reasonfrequest_failed: {last_exc}) 这样你在上层代码里只关心 client HttpClient(timeout12) res client.get(url, headersheaders, max_retries3) if not res.ok: print(请求失败, res.reason) else: print(成功状态, res.status_code, 耗时, res.elapsed)七、第四步识别风控页 / 假 200内容级校验和第 1 篇呼应一下这里给出一个可直接用的实现。1. 风控页检测函数def is_block_page(html: str) - bool: keywords [ 验证码, 安全验证, 访问过于频繁, robot, bot, 风险, verify you are human, please complete the security check, 访问受限, 您的请求存在异常 ] low html.lower() return any(k.lower() in low for k in keywords)2. 统一分类def classify_response(status_code: int, text: str) - str: 返回 - ok - blocked - rate_limited - forbidden - empty - unknown if status_code 429: return rate_limited if status_code 403: return forbidden if status_code 200: if not text.strip(): return empty if is_block_page(text): return blocked return ok return unknown3. 结合HttpClient使用def fetch_with_check(client: HttpClient, url: str, headers: dict): res client.get(url, headersheaders, max_retries3) if not res.ok: print(f[FAIL] {url} reason{res.reason}) return kind classify_response(res.status_code, res.text) print(f[{kind.upper()}] status{res.status_code} time{res.elapsed:.2f}s size{len(res.text)}) if kind ok: # 在这里再解析 JSON / HTML pass elif kind in (blocked, rate_limited): # 后面频率控制篇会详细说这里至少可以先 sleep 一会 time.sleep(8 random.uniform(0, 2.5)) elif kind forbidden: # 检查 UA / Referer / Cookie 是否正确 pass到这一步你的请求层已经具备了像样的 Header合理的会话建立先访问首页再打 API稳定的重试机制基本的内容级错误识别这已经比绝大多数“裸 requests”强太多了。八、第五步参数与路径正确还原“正常用户流程”除了 Header 和 CookieURL 参数本身也常常是反爬的一部分。1. 参数顺序与签名风险有些简单站点会对参数排序敏感抓包里是什么顺序就按什么顺序传如果请求里已经出现sign、signature之类字段优先考虑是否可以直接复用浏览器生成的参数例如复制整个 query是否可以通过正常流程拿到包含签名的 URL而不是自己算在本篇中我们优先假定“没有复杂签名”只做一点小提醒不要随意删改你不理解的参数。2. 模拟真正的分页/筛选流程很多人直接写for page in range(1, 1001): url fhttps://example.com/api/list?page{page}但正常用户的行为是先访问列表第一页可能切换几个筛选条件再往下翻几页你脚本一上来就从第 1 页扫到第 1000 页且每一页都用同一个固定参数/筛选条件非常“爬虫味”。建议在前几页尽量模拟真实浏览器的访问路径对于深分页的历史数据可以适当放慢速度、分批安排任务这部分和“行为层/调度层”更相关在第 3 篇会展开。九、一个小型“请求层对抗”示例可直接改成你的站点下面给出一个整合示例把本篇内容串成一个小脚本import time import random import requests from dataclasses import dataclass dataclass class FetchResult: ok: bool status_code: int text: str elapsed: float reason: str class HttpClient: def __init__(self, timeout12): self.session requests.Session() self.timeout timeout def get(self, url, headersNone, paramsNone, max_retries3, base_sleep0.8) - FetchResult: last_exc None for attempt in range(max_retries): t0 time.time() try: r self.session.get( url, headersheaders, paramsparams, timeoutself.timeout, allow_redirectsTrue, ) elapsed time.time() - t0 return FetchResult(True, r.status_code, r.text, elapsed) except requests.RequestException as e: last_exc e elapsed time.time() - t0 sleep_s base_sleep * (2 ** attempt) random.uniform(0, 0.35) time.sleep(sleep_s) return FetchResult(False, 0, , 0.0, reasonstr(last_exc)) def is_block_page(html: str) - bool: keywords [验证码, 安全验证, 访问过于频繁, 访问受限, verify you are human] low html.lower() return any(k.lower() in low for k in keywords) def classify_response(status_code: int, text: str) - str: if status_code 429: return rate_limited if status_code 403: return forbidden if status_code 200: if not text.strip(): return empty if is_block_page(text): return blocked return ok return unknown def main(): client HttpClient(timeout10) base_headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Accept-Language: zh-CN,zh;q0.9, Connection: keep-alive, } # 1. 先访问首页建立会话 Cookie home_url https://example.com/list home_res client.get(home_url, headersbase_headers) print(首页, home_res.status_code, len(home_res.text)) # 2. 再访问数据接口 api_url https://example.com/api/list for page in range(1, 6): headers { **base_headers, Referer: home_url, Accept: application/json, text/javascript, */*;q0.01, X-Requested-With: XMLHttpRequest, } params {page: page, pageSize: 20} res client.get(api_url, headersheaders, paramsparams) kind classify_response(res.status_code, res.text) print(fpage{page} kind{kind} status{res.status_code} size{len(res.text)}) if kind in (blocked, rate_limited, forbidden): print(触发风控/限流先休息一会儿……) time.sleep(10 random.uniform(0, 3)) break if __name__ __main__: main()你只需要把home_url、api_url、params和头信息换成自己抓包到的内容就能作为一个“请求层对抗”的起点。十、总结用好 requests其实已经很强本篇我们做的事情看起来不炫技但非常关键从抓包出发搞清楚浏览器到底发了什么模拟真实请求头User-Agent / Accept / Referer / Cookie用Session管理会话先访问首页再打 API封装HttpClient加上重试和基础日志用内容级校验识别风控页、假 200在参数和访问路径上尽可能接近真实用户流程这套东西做扎实足够你穿过大部分“请求层/小风控”的站点。接下来在第 3 篇我们会专门讲“频率控制与限流”为什么一加线程就被封如何设计一个可配置的限流模块如何用任务队列和 Worker 模型优雅地控制并发