Python爬虫实战：手把手教你如何采集开源许可证 FAQ 文章归档！

㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐ (中级)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层Fetcher7️⃣ 核心实现解析层Parser8️⃣ 数据存储与导出Storage9️⃣ 运行方式与结果展示必写 常见问题与排错强烈建议写1️⃣1️⃣ 进阶优化可选但加分1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface天下代码一大抄但“抄”也要讲基本法。GPL、MIT、Apache… 这些开源许可证到底有什么区别如果我们在公司项目中用错了分分钟收到律师函。今天我们要写一个专门针对开源合规问答FAQ的爬虫。我们将模拟抓取开源倡议组织或类似的技术合规博客的 FAQ 专栏。把那些晦涩难懂的法律解释清洗成干净的问题、摘要和许可证类型。读完这篇你能获得语料清洗思维学会如何从长篇大论的法律文本中提取“摘要Summary”。️正则打标术掌握如何通过标题或正文关键词自动给文章打上“许可证类型”标签。️高质量数据集收获一份随时可喂给 LLM大语言模型的垂直领域合规语料。1️⃣ 摘要Abstract目标对象典型的开源合规问答网站List-Detail 结构的静态页面。核心工具requests(发包),BeautifulSoup4(DOM解析),textwrap(文本截断与摘要)。最终产出一份高质量的、可以直接用于数据分析的英文命名文件opensource_license_faqs.csv。核心价值自动化收集法务级问答数据为研发团队的合规检查工具提供底层知识库支撑。2️⃣ 背景与需求Why为什么要爬合规辅助研发团队经常问“我改了某个库的代码需要开源吗”我们需要一个快速检索的内部知识库。大模型语料AI Corpus法律条文是极佳的逻辑训练语料通过爬取结构化的 QA可以用来微调垂类大模型。 目标字段清单Title: 文章或问题标题如 “Can I mix GPL and MIT?”。Question: 具体的疑问描述。Answer_Summary: 答案摘要提取正文的前 150 个字符。License_Type: 许可证类型自动打标如GPL,MIT,Apache。Link: 原始出处链接溯源必备。3️⃣ 合规与注意事项必写Robots.txt 协议大多数开源组织的文档站对爬虫是非常包容的但请务必带上包含你邮箱的 User-Agent以便站长联系。频率控制法律文档站通常不需要极高的时效性请设置time.sleep(2)慢慢爬绝不要发起攻击式并发。免责声明爬取下来的数据仅供技术学习和内部参考。爬虫提取的摘要不能替代专业律师的法律意见‍⚖️4️⃣ 技术选型与整体流程What/How技术栈选择因为 FAQ 文档页 99% 都是为了 SEO 优化的纯静态 HTML所以绝对不需要繁重的 Selenium我们用requestsbs4的轻量级组合。整体流程图 启动爬虫 访问 FAQ 列表页 提取所有问答文章 URL️ 遍历并请求详情页 解析标题与内容✂️ 生成摘要 正则提取 License 类型 写入 CSV 数据集 礼貌休眠5️⃣ 环境准备与依赖安装可复现Python 版本推荐 Python 3.9 依赖安装打开终端运行这行魔法代码pipinstallrequests beautifulsoup4 pandas项目结构推荐license_corpus_builder/ ├── crawler.py # 主爬虫脚本 └── data/ └── opensource_license_faqs.csv # 最终输出的语料文件6️⃣ 核心实现请求层Fetcher我们构建一个带错误重试Retry的强壮请求器因为爬取大量页面时偶尔的网络丢包是很常见的。importrequestsimporttimeimportrandomfromrequests.adaptersimportHTTPAdapterfromurllib3.util.retryimportRetrydefget_html_safely(url): 专业的请求器带重试机制、超时控制和礼貌休眠 sessionrequests.Session()# 遇到网络错误时最多重试 3 次每次间隔逐渐拉长retriesRetry(total3,backoff_factor1,status_forcelist[429,500,502,503,504])session.mount(https://,HTTPAdapter(max_retriesretries))headers{User-Agent:Compliance-Corpus-Bot/1.0 (Learning Project),Accept:text/html,application/xhtmlxml}try:# 礼貌抓取随机休眠 1~2.5 秒time.sleep(random.uniform(1.0,2.5))responsesession.get(url,headersheaders,timeout15)response.raise_for_status()# 非 200 状态码直接抛出异常# 确保中文或多语言文本不乱码response.encodingutf-8returnresponse.textexceptExceptionase:print(f❌ 请求失败 [{url}]:{e})returnNone7️⃣ 核心实现解析层Parser这是本项目的灵魂我们需要从 HTML 中抽取出答案并提炼摘要同时利用简单的逻辑识别许可证类型。frombs4importBeautifulSoupimportreimporttextwrapdefparse_faq_list(html,base_url): 解析列表页获取所有 FAQ 详情页链接 soupBeautifulSoup(html,html.parser)article_links[]# 假设文章链接都在 class 为 faq-item 的 a 标签中# 真实场景中请根据目标网站实际 DOM 结构调整选择器fora_taginsoup.select(.faq-list a[href]):hrefa_tag[href]# 拼接绝对路径full_urlhrefifhref.startswith(http)elsef{base_url.rstrip(/)}/{href.lstrip(/)}article_links.append(full_url)# 去重returnlist(set(article_links))defextract_license_type(text): ️ 自动打标引擎根据文本内容识别涉及的开源许可证 text_uppertext.upper()licenses[]ifGPLintext_upper:licenses.append(GPL)ifMITintext_upper:licenses.append(MIT)ifAPACHEintext_upper:licenses.append(Apache)ifBSDintext_upper:licenses.append(BSD)return/.join(licenses)iflicenseselseGeneral/Otherdefparse_faq_detail(html,url): 进入详情页抽取核心语料 soupBeautifulSoup(html,html.parser)data{Link:url}try:# 1. 提取标题 (通常在 h1)title_tagsoup.find(h1)data[Title]title_tag.get_text(stripTrue)iftitle_tagelseUnknown Title# 2. 提取问题 (有些 FAQ 把问题直接当标题有些有单独的 div classquestion)q_tagsoup.find(div,class_re.compile(rquestion,re.I))# 如果没有单独的问题框就复用标题data[Question]q_tag.get_text(stripTrue)ifq_tagelsedata[Title]# 3. 提取答案正文与摘要# 假设答案在一个 div classanswer 或 article 里ans_blocksoup.find(div,class_re.compile(ranswer|content|article,re.I))ifans_block:# 去除脚本和样式forscriptinans_block([script,style]):script.decompose()full_answerans_block.get_text(separator ,stripTrue)# ✂️ 生成摘要提取前 150 个字符并在完整单词边界截断summarytextwrap.shorten(full_answer,width150,placeholder...)data[Answer_Summary]summaryelse:data[Answer_Summary]No answer content found.# 4. 自动推断 License_Type (依据标题和问题的关键词)data[License_Type]extract_license_type(data[Title] data[Question])exceptExceptionase:print(f⚠️ 详情页解析异常:{e})returnNonereturndata8️⃣ 数据存储与导出Storage作为合格的语料库存为带表头的.csv文件是最标准的操作。我们规定全部使用英文列名方便后续直接导入 Pandas 或 HuggingFace Datasets。importpandasaspdimportosdefsave_to_corpus(data_list,filenamedata/opensource_license_faqs.csv):ifnotdata_list:return# 确保 data 目录存在os.makedirs(os.path.dirname(filename),exist_okTrue)dfpd.DataFrame(data_list)# 明确规定列的顺序columns_order[Title,Question,Answer_Summary,License_Type,Link]dfdf[columns_order]# URL 唯一性去重Hash 策略的体现df.drop_duplicates(subset[Link],inplaceTrue)# 追加写入模式file_existsos.path.exists(filename)df.to_csv(filename,modea,headernotfile_exists,indexFalse,encodingutf-8-sig)print(f 成功追加{len(df)}条合规语料至:{filename})9️⃣ 运行方式与结果展示必写主程序入口 (crawler.py)defmain():# 虚拟一个目标站点的 URLbase_urlhttps://example-opensource-compliance.orglist_urlf{base_url}/faqprint( 启动开源许可证合规语料爬虫...)# 1. 抓取列表页print(f 正在获取列表页:{list_url})list_htmlget_html_safely(list_url)ifnotlist_html:print(❌ 列表页抓取失败退出程序。)return# 2. 解析文章链接article_linksparse_faq_list(list_html,base_url)print(f └── 发现{len(article_links)}篇 FAQ开始下钻提取...)corpus_data[]# 3. 遍历提取语料 (演示只跑前 3 个)forlinkinarticle_links[:3]:print(f ⏳ 正在提取:{link.split(/)[-1]},end\r)detail_htmlget_html_safely(link)ifdetail_html:faq_dataparse_faq_detail(detail_html,link)iffaq_data:corpus_data.append(faq_data)print(\n)# 4. 存储数据save_to_corpus(corpus_data)print(✅ 语料库构建完成)if__name____main__:main() 结果展示Sample Output运行后你的opensource_license_faqs.csv文件看起来会像这样纯英文表头结构TitleQuestionAnswer_SummaryLicense_TypeLinkCan I mix GPL with MIT?If my project uses an MIT library, can I release my project under GPL?Yes, you can. The MIT license is permissive and compatible with the GPL. However, the combined derivative work must be distributed under the…GPL/MIThttps://.../mix-gpl-mitPatent clauses in Apache 2.0Does Apache 2.0 protect contributors from patent trolls?The Apache License 2.0 includes an explicit grant of patent rights from contributors to users, which is a significant advantage over older…Apachehttps://.../apache-patentWhat does “Copyleft” mean?Explain the concept of Copyleft in simple terms.Copyleft is a general method for making a program (or other work) free, and requiring all modified and extended versions of the program to…General/Otherhttps://.../copyleft-meaning 常见问题与排错强烈建议写文本抓到一堆br和\n\n\n怎么办现象Answer_Summary里充满了换行符和空格非常难看。解决使用text .join(text.split())进行魔法级别的空格压缩这在清洗 LLM 语料时是常规操作。列表页只是一堆锚点Anchor Links现象像 GNU 官方的 FAQ其实是在同一个超长网页里通过a href#gpl-mit跳转的。解决如果遇到单页结构不需要再发请求。直接在Parser层通过寻找h2 id...标签把两个h2之间的所有p标签文本合并即可遇到 403 Forbidden原因法律和官方机构的网站通常会使用 Cloudflare 基础防护。解决除了完善User-Agent可以在 Header 中加入Accept-Language和Referer伪装得更像真实浏览器。1️⃣1️⃣ 进阶优化可选但加分Markdown 原生提取大模型最爱LLM 更喜欢 Markdown 格式而不是纯文本。你可以引入markdownify库在提取ans_block时直接将 HTML 转换为带加粗、列表的 Markdown 格式importmarkdownify md_textmarkdownify.markdownify(str(ans_block),heading_styleATX)增量游标断点续跑利用hashlib.md5(url.encode()).hexdigest()生成唯一 ID。每次抓取前先读取 CSV 的 ID 列如果在里面就直接continue跳过做到真正的增量更新。1️⃣2️⃣ 总结与延伸阅读复盘时刻今天我们不仅写出了一个爬虫更是在做一个**“数据资产化”**的过程我们把网上杂乱的问答通过提取、打标、摘要变成了结构化的法律合规数据集。这套代码稍加修改完全可以用来爬取 AWS、阿里云等云厂商的架构 FAQ。下一步可以做什么你可以把生成的 CSV 文件丢进LangChain或LlamaIndex加上一个开源的本地向量数据库如 ChromaDB花 10 分钟就能写出一个“开源合规 AI 小助手”回答公司内部员工的协议疑问 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。