Python爬虫实战：构建文本资源去重引擎（精确+语义级）

㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐⭐ (进阶)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写 ⚠️4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现清洗与指纹生成Fingerprinting7️⃣ 核心实现去重逻辑Deduplication Logic8️⃣ 运行方式与结果展示必写 常见问题与排错Troubleshooting️1️⃣1️⃣ 进阶优化Optional1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface大家好在爬虫的世界里“抓得到”只是及格线“抓得准”才是满分。面对全网转载的公告、洗稿的自媒体文章单纯的 URL 去重已经失效。今天我们将构建一个工业级的去重引擎它能透过 HTML 的皮囊直击文本的灵魂识别出那些“换汤不换药”的内容。读完这篇你将获得掌握Simhash (局部敏感哈希)算法在海量文本去重中的核心应用。学会“HTML 降噪”技术提取纯净的正文特征。最终产出一个能够自动将相似文章归类到同一个dup_group的 Python 模块。1️⃣ 摘要Abstract本文介绍了一套混合去重策略。首先利用正则表达式清洗 HTML 标签与非语义字符其次计算MD5作为精确指纹用于秒杀完全一致的文本计算Simhash作为模糊指纹用于识别改写/转载文本最后基于海明距离Hamming Distance进行聚类。当两条文本的海明距离≤ 3 \le 3≤3时判定为重复并分配相同的组 ID。核心收获双重保障精确去重快模糊去重准。工程化引入dup_group概念保留所有副本但标记主次。高性能基于位运算Bitwise Operation的相似度比较。2️⃣ 背景与需求Why为什么要内容去重资讯聚合比如“OpenAI 发布 Sora”全网有 1000 篇报道用户只需要看一篇最权威的。LLM 语料重复语料会降低 Transformer 模型的训练效率甚至导致模型复读机现象。目标字段清单title(标题)content_hash(MD5 精确指纹)simhash(64位 语义指纹)dup_group(去重组 ID - 相同 ID 代表是同一组重复文章)is_primary(是否为该组的主记录)3️⃣ 合规与注意事项必写 ⚠️版权保护去重后的数据如果用于商业展示如聚合新闻 App请务必保留原始内容的Source来源和Author尊重原作者。误伤控制Simhash 是一种概率算法。对于短文本如只有一句话的微博去重效果较差建议仅对长文本100 字启用 Simhash短文本仅使用 MD5。算力消耗虽然 Simhash 比较快但如果数据量达到亿级全量两两比对O ( N 2 ) O(N^2)O(N2)是不可接受的。生产环境通常配合“分桶索引”策略如 Elasticsearch 的 MinHash 插件。4️⃣ 技术选型与整体流程What/How技术选型清洗BeautifulSoupre。算法hashlib(MD5) simhash(Python 库)。整体流程[原始 HTML] ➔ 清洗 (去除 Tag/脚本/标点) ➔ [纯净文本] ├── 计算 MD5 ➔ 查库 ➔ 命中➔ 标记精确重复 └── 计算 Simhash ➔ 对比海明距离 ➔ 3 ? ➔ 标记近似重复 (归入同一 Group)5️⃣ 环境准备与依赖安装可复现Python 版本3.8依赖安装你需要安装 Google 的 Simhash 算法实现的 Python 绑定pipinstallsimhash beautifulsoup46️⃣ 核心实现清洗与指纹生成Fingerprinting这是最关键的一步。如果不清洗 HTML网页里的导航栏、广告词会严重干扰指纹的计算。importhashlibimportrefrombs4importBeautifulSoupfromsimhashimportSimhashclassContentDeduplicator:def__init__(self,threshold3): :param threshold: 海明距离阈值通常设为 3。 距离 0 表示完全一样距离 3 以内表示极度相似。 self.thresholdthreshold self.storage[]# 模拟数据库存储已处理的指纹defclean_html(self,html_content): 深度清洗去除 HTML 标签、脚本、样式仅保留核心文本 ifnothtml_content:returnsoupBeautifulSoup(html_content,html.parser)# 移除噪音标签forscriptinsoup([script,style,nav,footer,iframe]):script.extract()textsoup.get_text(separator )# 正则清洗去除标点符号、多余空格统一转小写# 目的让 Hello World! 和 hello world 的指纹一致textre.sub(r[^\w\s],,text)textre.sub(r\s, ,text).strip().lower()returntextdefgenerate_fingerprints(self,text):生成双重指纹# 1. MD5 精确指纹md5_hashhashlib.md5(text.encode(utf-8)).hexdigest()# 2. Simhash 模糊指纹# f64 表示生成 64 位的指纹sim_objSimhash(text,f64)returnmd5_hash,sim_obj7️⃣ 核心实现去重逻辑Deduplication Logic这里我们模拟一个“流式处理”的过程新文章进来跟库里的旧文章比对。# ...接在 ContentDeduplicator 类内部...defprocess_article(self,article): 处理单篇文章判断是否重复并分配 Group ID article: dict {title: ..., content: ...} clean_textself.clean_html(article[content])# 文本太短不适合做 Simhash直接当作新内容iflen(clean_text)50:returnself._register_new(article,clean_text,is_shortTrue)md5,sim_objself.generate_fingerprints(clean_text)# --- 阶段 1: 精确比对 (O(1) 查找) ---forexist_iteminself.storage:ifexist_item[content_hash]md5:# 发现完全一样的文章returnself._mark_duplicate(article,exist_item,Exact_MD5,md5,sim_obj)# --- 阶段 2: 模糊比对 (Simhash) ---# 注意生产环境这里不能遍历 list需要使用分桶索引优化forexist_iteminself.storage:# 计算海明距离 (Hamming Distance)distancesim_obj.distance(exist_item[simhash_obj])ifdistanceself.threshold:# 距离足够小判定为近似重复returnself._mark_duplicate(article,exist_item,fNear_Simhash_Dist_{distance},md5,sim_obj)# --- 阶段 3: 无重复注册为新 Group ---returnself._register_new(article,clean_text,md5,sim_obj)def_register_new(self,article,text,md5None,sim_objNone,is_shortFalse):# 如果是短文本随机生成一个组IDnew_group_idhashlib.md5(article[title].encode()).hexdigest()[:8]ifis_shortelsemd5[:8]record{title:article[title],content_hash:md5,simhash_obj:sim_obj,simhash_hex:hex(sim_obj.value)ifsim_objelseNone,dup_group:new_group_id,is_primary:True,# 新组的第一条就是主记录match_type:New_Original}ifnotis_short:self.storage.append(record)returnrecorddef_mark_duplicate(self,article,parent,match_type,md5,sim_obj):return{title:article[title],content_hash:md5,simhash_hex:hex(sim_obj.value),dup_group:parent[dup_group],# 继承已存在文章的组 IDis_primary:False,# 它是副本match_type:match_type}8️⃣ 运行方式与结果展示必写为了验证 Simhash 的威力我准备了三篇文章原文。改写版修改了几个词加了广告。完全不同的文。# main.pydefmain():engineContentDeduplicator(threshold3)# 模拟数据源articles[{id:1,title:Python 3.13 发布了,content:divPython 3.13 正式发布带来了 JIT 编译器性能大幅提升。/div},{id:2,# 这是 id1 的轻微改写版title:重磅Python 3.13 更新,content:divp来源技术博客/pPython 3.13 正式发布它带来了 JIT 编译器性能大幅提升。br关注我们获取更多信息。/div},{id:3,# 完全不相关title:今天天气不错,content:div北京今天晴空万里适合写代码。/div}]print( 开始去重分析...\n)forartinarticles:resultengine.process_article(art)print(f 文章: [{art[title]}])print(f └── 状态:{result[match_type]})print(f └── 组ID:{result[dup_group]}(Primary:{result[is_primary]}))print(f └── Simhash:{result.get(simhash_hex,N/A)}\n)if__name____main__:main() 示例结果展示 开始去重分析... 文章: [Python 3.13 发布了] └── 状态: New_Original └── 组ID: a1b2c3d4 (Primary: True) └── Simhash: 0x8a91... (Simhash 值) 文章: [重磅Python 3.13 更新] └── 状态: Near_Simhash_Dist_2 -- 成功识别海明距离仅为 2 └── 组ID: a1b2c3d4 (Primary: False) -- 被归类到了 ID 1 的组里 └── Simhash: 0x8a93... (跟上面非常像) 文章: [今天天气不错] └── 状态: New_Original └── 组ID: e5f6g7h8 (Primary: True) -- 全新的组 └── Simhash: 0x1b2c... 常见问题与排错Troubleshooting️Simhash 对比结果全是“不重复”诊断检查clean_html是否工作正常。如果 HTML 标签没洗干净指纹算出来的主要是div和span的特征而不是正文。短文本误判严重原因Simhash 依赖特征词的分布。如果只有 10 个词其中 1 个词变了海明距离变化会非常剧烈。解法代码中我已经加了len(clean_text) 50的判断。对于短文本只用 MD5 甚至编辑距离Levenshtein Distance会更靠谱。千万级数据怎么跑工程化这一步必须上数据库。你可以把 64 位的 Simhash 切割成 4 段每段 16 位。查询时只要有一段完全匹配就把它作为候选集拿出来计算海明距离。这就是经典的“抽屉原理”分桶优化。1️⃣1️⃣ 进阶优化Optional权重优化在生成 Simhash 时给标题Title和 H1 标签里的词更高的权重比如 x5给正文普通的词权重 x1。这样能让标题相似的文章更容易被聚类。语义向量化Embedding这是终极方案。使用OpenAI Embedding API或BERT将文本转为 768 维向量然后存入Milvus/ChromaDB向量数据库。去重就变成了“向量相似度搜索Cosine Similarity”。这比 Simhash 更准但成本也更高。1️⃣2️⃣ 总结与延伸阅读通过引入 Simhash你的爬虫系统不再是一个只会搬运 HTML 的搬运工而是一个具备了初步“阅读理解”能力的图书管理员。这种**“Simhash 粗筛 规则细分”的架构不仅适用于文本去重还可以用于黑产 SEO 页面识别**、抄袭检测系统等场景。下一步试着把你手里的十万条数据跑一遍 Simhash你会惊讶地发现原来互联网上有这么多内容其实都是“双胞胎”‍♂️ Happy De-duplicating! 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。