5分钟搞定AI知识库：用Playwright爬取CSDN博客并喂给GPT（附完整配置）

5分钟构建智能知识库PlaywrightCSDN数据采集实战指南每次在技术社区搜索解决方案时你是否也遇到过这样的困扰收藏的优质文章散落在不同平台需要时总得反复查找。今天我要分享的这套方案能让你用开发者熟悉的工具链快速将CSDN技术博客转化为结构化知识库直接对接大语言模型使用。1. 环境准备与工具选型为什么选择Playwright而不是传统的Scrapy或BeautifulSoup现代网页大量依赖JavaScript动态渲染传统爬虫对这类页面束手无策。Playwright作为微软开源的浏览器自动化工具能完美模拟真实用户操作特别适合CSDN这类动态加载的博客平台。1.1 基础环境配置推荐使用Node.js 16环境这是Playwright的最佳运行环境。如果你习惯使用PythonPlaywright也提供Python绑定但考虑到工具链完整性我们选择Node.js方案# 检查Node版本 node -v # 若未安装推荐使用nvm管理多版本 curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash nvm install 161.2 依赖安装执行以下命令完成核心工具安装npm init playwrightlatest # 安装浏览器内核 npx playwright install # 安装系统依赖Linux环境 npx playwright install-deps注意国内用户建议配置淘宝镜像加速安装npm config set registry https://registry.npmmirror.com2. CSDN爬虫专项配置CSDN博客页面结构经过多次改版2023年最新版的DOM结构主要特征如下元素类型CSS选择器说明文章容器.blog-content-box正文主体部分代码块.hljs高亮显示的代码片段文章标签.tags-box文章底部标签区域评论区.comment-box用户评论容器2.1 核心配置文件创建csdn-config.js配置文件module.exports { startUrl: https://blog.csdn.net/用户名?typeblog, matchPattern: **/article/details/**, contentSelector: .blog-content-box, excludeSelectors: [ .recommend-box, // 推荐阅读 .comment-box, // 评论区 .tool-box // 浮动工具栏 ], maxPages: 100, outputFile: csdn_articles.json, // 滚动加载触发针对长文章 scrollConfig: { wait: 1000, steps: 5 } };2.2 反爬策略应对CSDN对高频访问有这些防护措施登录态验证需携带cookie请求频率限制建议2秒间隔人机验证可通过设置userAgent规避解决方案代码示例const playwright require(playwright); async function safeCrawl() { const browser await playwright.chromium.launch({ headless: true, slowMo: 2000, // 操作间隔 }); const context await browser.newContext({ userAgent: Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 }); // 保留登录状态 await context.addCookies([{ name: UserToken, value: 你的登录凭证, domain: .csdn.net, path: / }]); }3. 数据清洗与知识结构化原始爬取的数据需要经过以下处理流程HTML标签清理去除所有样式和脚本标签代码块提取将代码片段单独标记元数据补充提取文章分类、发布时间等文本标准化统一换行符和空格使用cheerio进行处理的示例const cheerio require(cheerio); function cleanContent(html) { const $ cheerio.load(html); // 移除广告元素 $(.ad-container).remove(); // 转换代码块为Markdown $(pre code).each((i, el) { const lang $(el).attr(class)?.split(-)[1] || ; $(el).replaceWith(\\\${lang}\n${$(el).text()}\n\\\); }); return $.text().trim(); }4. 对接大语言模型实践处理后的JSON数据可以直接用于主流LLM平台。以下是OpenAI API的接入示例import openai import json with open(csdn_articles.json) as f: knowledge_base json.load(f) def query_knowledge(question): context \n.join([item[content][:500] for item in knowledge_base[:3]]) response openai.ChatCompletion.create( modelgpt-3.5-turbo, messages[ {role: system, content: 你是一个技术助手请根据以下知识库回答问题}, {role: user, content: f知识库{context}\n问题{question}} ] ) return response.choices[0].message.content4.1 效果优化技巧分块策略将长文章按章节拆分避免上下文截断向量化处理使用text-embedding-ada-002生成嵌入向量缓存机制对常见问题建立回答缓存from openai.embeddings_utils import get_embedding # 生成向量索引 knowledge_vectors [ { text: item[title], embedding: get_embedding(item[content], enginetext-embedding-ada-002) } for item in knowledge_base ]这套方案在我最近的技术文档管理项目中验证将团队查找解决方案的时间缩短了60%。特别在处理框架版本升级这类需要历史知识参考的场景时直接询问知识库比人工检索效率高出许多。