绕过 Cloudflare 防护：Puppeteer 与 Node.js 的实战指南

1. 为什么需要绕过Cloudflare防护最近几年做自动化项目的开发者应该都深有体会Cloudflare的安全防护越来越难对付了。我去年帮一个电商公司做价格监控系统时就踩过坑他们的网站用了Cloudflare Turnstile防护普通的爬虫根本过不去。每次请求都会被拦截要么跳验证码要么直接返回403错误。Cloudflare的防护机制确实很强大。它不只是简单的验证码而是结合了多种检测手段JavaScript挑战要求浏览器执行特定JS代码并返回正确结果行为分析监测鼠标移动、点击模式等用户行为特征指纹识别收集浏览器环境信息生成唯一指纹IP信誉系统对可疑IP进行限速或拦截对于需要自动化操作网站的场景比如数据采集、自动化测试、批量注册等这些防护就像一堵高墙。我试过直接用axios发请求99%的情况都会被拦截。后来改用Puppeteer模拟浏览器环境才算是找到了突破口。2. 环境准备与工具选型2.1 基础环境搭建首先需要准备好开发环境我这里以MacOS为例Windows和Linux也大同小异# 安装Node.js建议用nvm管理版本 curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash nvm install 18 nvm use 18 # 初始化项目 mkdir cloudflare-bypass cd cloudflare-bypass npm init -y # 安装核心依赖 npm install puppeteer-core axios为什么用puppeteer-core而不是puppeteer因为puppeteer会自动下载Chromium而puppeteer-core允许你使用本地已安装的Chrome。实测下来本地Chrome的指纹特征更接近真实用户被拦截的概率更低。2.2 验证码解决方案选择对付Cloudflare Turnstile光有Puppeteer还不够关键还得解决验证码。市面上常见的方案有手动打码适合低频需求但完全不符合自动化场景OCR识别对简单验证码有效但Turnstile这种动态验证码基本无效第三方API服务比如CapSolver、2Captcha等经过对比测试CapSolver的识别准确率和响应速度都不错特别是对Cloudflare系列验证码有专门优化。他们的API文档也比较清晰集成起来很方便。3. 实战代码解析3.1 获取Turnstile的SiteKeySiteKey是解决验证码的关键参数每个网站都不一样。获取方法有两种手动查找在网页源码中搜索sitekey或data-sitekey自动化提取用Puppeteer执行脚本获取这里给出第二种方法的实现代码async function getSiteKey(page) { return await page.evaluate(() { // 先尝试找显式的sitekey属性 const turnstileIframe document.querySelector(iframe[src*challenges.cloudflare.com]); if (turnstileIframe) { const src new URL(turnstileIframe.src); return src.searchParams.get(sitekey); } // 再尝试找data-sitekey属性 const element document.querySelector([data-sitekey]); return element?.dataset.sitekey; }); }3.2 调用CapSolver API拿到SiteKey后就可以请求CapSolver服务了。这里要注意几个关键参数websiteURL必须是当前页面的完整URLtype对于Turnstile要选AntiTurnstileTaskProxyLessmetadata有些网站会校验action参数完整实现代码const axios require(axios); async function solveTurnstile(apiKey, siteKey, pageUrl) { const payload { clientKey: apiKey, task: { type: AntiTurnstileTaskProxyLess, websiteKey: siteKey, websiteURL: pageUrl, metadata: { action: login // 根据实际场景调整 } } }; try { // 创建任务 const createResp await axios.post(https://api.capsolver.com/createTask, payload); const taskId createResp.data.taskId; // 轮询获取结果 let retries 0; while (retries 30) { // 最多等30秒 await new Promise(resolve setTimeout(resolve, 1000)); const resultResp await axios.post(https://api.capsolver.com/getTaskResult, { clientKey: apiKey, taskId: taskId }); if (resultResp.data.status ready) { return resultResp.data.solution.token; } if (resultResp.data.status failed) { throw new Error(验证码解决失败: ${JSON.stringify(resultResp.data)}); } } throw new Error(验证码解决超时); } catch (error) { console.error(API请求出错:, error.message); throw error; } }3.3 Puppeteer集成完整流程最后是把所有环节串联起来完整的操作流程const puppeteer require(puppeteer-core); async function bypassCloudflare(url) { // 1. 启动浏览器 const browser await puppeteer.launch({ headless: false, executablePath: /Applications/Google Chrome.app/Contents/MacOS/Google Chrome, args: [--no-sandbox, --disable-setuid-sandbox] }); // 2. 打开新页面 const page await browser.newPage(); // 3. 设置真实用户指纹 await page.setUserAgent(Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36); await page.setViewport({ width: 1280, height: 720, deviceScaleFactor: 1 }); try { // 4. 访问目标页面 await page.goto(url, { waitUntil: domcontentloaded, timeout: 30000 }); // 5. 检查是否触发Cloudflare const isBlocked await page.evaluate(() { return document.title.includes(Just a moment) || document.querySelector(#challenge-form) ! null; }); if (isBlocked) { console.log(检测到Cloudflare防护开始绕过...); // 6. 获取SiteKey const siteKey await getSiteKey(page); if (!siteKey) throw new Error(无法获取SiteKey); // 7. 调用CapSolver const token await solveTurnstile(你的API密钥, siteKey, url); // 8. 设置Cookie绕过 await page.setCookie({ name: cf_clearance, value: token, domain: new URL(url).hostname }); // 9. 刷新页面 await page.reload({ waitUntil: networkidle2 }); } // 10. 验证是否绕过成功 const content await page.content(); if (content.includes(被拒绝访问)) { throw new Error(绕过失败); } console.log(成功绕过Cloudflare防护); return content; } finally { await browser.close(); } }4. 常见问题与优化建议4.1 为什么有时候还是会失败根据我的实战经验失败通常有以下几个原因指纹特征不完整Cloudflare会检测WebGL、字体列表等高级指纹。可以添加以下代码增强隐蔽性await page.evaluateOnNewDocument(() { Object.defineProperty(navigator, webdriver, { get: () false }); Object.defineProperty(navigator, plugins, { get: () [1, 2, 3] }); Object.defineProperty(navigator, languages, { get: () [zh-CN, zh] }); });IP被标记建议使用优质代理IP并在代码中添加代理配置const browser await puppeteer.launch({ args: [ --proxy-serverhttp://your-proxy-ip:port, --disable-featuressite-per-process ] });行为模式异常添加随机延迟和人类化操作// 随机延迟函数 function randomDelay(min, max) { return new Promise(resolve setTimeout(resolve, min Math.random() * (max - min)) ); } // 模拟人类点击 async function humanClick(element) { await randomDelay(100, 500); await element.click(); }4.2 性能优化技巧复用浏览器实例不要每次请求都开新浏览器可以用browser.disconnect()和browser.connect()复用并行处理结合Promise.all处理多个页面但要注意控制并发量缓存机制有效期内重复使用cf_clearance cookieconst tokenCache new Map(); async function getCachedToken(siteKey) { if (tokenCache.has(siteKey)) { const { token, expires } tokenCache.get(siteKey); if (Date.now() expires) return token; } const freshToken await solveTurnstile(siteKey); tokenCache.set(siteKey, { token: freshToken, expires: Date.now() 30 * 60 * 1000 // 缓存30分钟 }); return freshToken; }5. 法律与道德注意事项虽然技术上讲我们可以绕过Cloudflare防护但必须注意法律风险。根据我的经验以下几点特别重要遵守robots.txt检查目标网站的爬虫政策控制请求频率建议每个域名每秒不超过1个请求尊重数据版权不要抓取明确禁止的内容用户隐私保护如果涉及用户数据必须匿名化处理我通常会添加这样的速率限制代码class RateLimiter { constructor(rpm) { this.lastRequestTime 0; this.interval 60000 / rpm; } async wait() { const now Date.now(); const waitTime this.lastRequestTime this.interval - now; if (waitTime 0) { await new Promise(resolve setTimeout(resolve, waitTime)); } this.lastRequestTime Date.now(); } } // 使用示例 const limiter new RateLimiter(30); // 每分钟30次 await limiter.wait();在实际项目中我建议先用合法的方式尝试获取数据比如联系网站所有者询问API只有当这些方式都不可行时再考虑技术解决方案。