Python全站链接爬取工具优化-支持过滤和断点续爬

Python全站链接爬取工具优化支持过滤和断点续爬标签#Python #Playwright #爬虫 #AI知识库日期2026-05-03摘要本文介绍对全站链接爬取工具的优化升级新增链接过滤、断点续爬、默认不下载文件三个优化点让工具更加实用和人性化。前言上一篇文章发布后我在实际使用中遇到了一些痛点❌ 某些网站的静态资源链接如老旧版本的文档不需要爬取❌ 爬取过程中发现要排除某些链接中断后重新开始太浪费时间❌ 默认下载文件会污染本地目录并且也浪费时间于是我对工具进行了优化升级本文分享这些改进。一、优化点一览优化项说明使用场景链接过滤支持排除以指定前缀开头的链接过滤不需要的页面断点续爬异常退出时保存状态下次可继续长耗时任务防中断默认不下载不自动下载网页触发的文件保持目录整洁二、优化后的源码 全站站内链接爬取脚本 v2.0 功能递归爬取指定网站的所有内部链接支持过滤、断点续爬 frombs4importBeautifulSoupfromurllib.parseimporturljoin,urlparsefrommy_playwrightimportMyPlaywrightimportatexitimportCommonimportosdefget_internal_links(base_url:str,filters:set[str]set())-set[str]: 递归爬取全站内部链接 Args: base_url: 目标网站根 URL filters: 需要过滤的 URL 前缀集合 Returns: visited: 所有发现的内部链接集合 def_crawl_links(url:str)-None:爬取指定 URL 的所有内部链接放到 unvisited 集合中print(f{len(visited)}:{len(unvisited)}[] 正在抓取:{url})try:page.goto(url,wait_untilnetworkidle,timeout30000)page.wait_for_timeout(500)# 等待确保页面加载完成htmlpage.content()soupBeautifulSoup(html,html.parser)forainsoup.find_all(a,hrefTrue):hrefa[href]full_urlurljoin(url,href)parsedurlparse(full_url)# 过滤非内部链接ifnotparsed.netloctarget_netloc:continueif#infull_url:continueifparsed.schemenotin(http,https):continueiffull_urlinvisited:continue# ⭐ 新增过滤指定前缀的链接ifany(full_url.startswith(s)forsinfilters):continueunvisited.add(full_url)exceptExceptionase:print(f[!] 请求失败:{url}-{e})defon_exit()-None:⭐ 异常退出时保存当前状态ifunvisited:print([!] 异常退出正在保存当前状态到文件...)Common.WriteAllText(tmp_links.txt,str((visited,unvisited)))else:print([!] 所有链接都被访问了)atexit.register(on_exit)visited:set[str]set()# 已访问的 URL 集合unvisited:set[str]{base_url}# 未访问的 URL 集合# ⭐ 新增断点续爬 - 从临时文件恢复状态ifos.path.exists(tmp_links.txt):print([!] 从临时文件读取状态...)visited,unvisitedeval(Common.ReadAllText(tmp_links.txt))# ⭐ 新增默认不下载文件pageMyPlaywright(headlessTrue,accept_downloadsFalse).page target_netlocurlparse(base_url).netlocwhileunvisited:urlnext(iter(unvisited))_crawl_links(url)visited.add(url)unvisited.remove(url)print(f[✓] 已完成{len(visited)}条链接的爬取)returnvisiteddefsave_to_markdown(links,output_pathinternal_links.md):将链接列表保存为 Markdown 文件sorted_linkssorted(links)chunk_size10chunks[sorted_links[i:ichunk_size]foriinrange(0,len(sorted_links),chunk_size)]markdown_content[]markdown_content.append(# 全站内部链接列表\n)markdown_content.append(f共发现 **{len(links)}** 条链接\n\n)markdown_content.append(---\n\n)foridx,chunkinenumerate(chunks,1):start_num(idx-1)*chunk_size1markdown_content.append(f### 第{start_num}-{start_numlen(chunk)-1}条链接\n\n)forlinkinchunk:markdown_content.append(f{link}\n)markdown_content.append(\n)withopen(output_path,w,encodingutf-8)asf:f.writelines(markdown_content)print(f[✓] 已保存到:{output_path})if__name____main__:base_urlhttps://codemirror.net/filters{https://codemirror.net/5/}# ⭐ 过滤旧版本文档linksget_internal_links(base_url,filters)save_to_markdown(links)三、优化详解1️⃣ 链接过滤# 新增 filters 参数defget_internal_links(base_url:str,filters:set[str]set())-set[str]:...ifany(full_url.startswith(s)forsinfilters):continue# 跳过过滤的链接使用示例# 过滤 codemirror 旧版本文档filters{https://codemirror.net/5/}# 或者过滤多个filters{https://example.com/api/,https://example.com/docs/v1/,}2️⃣ 断点续爬核心思路用visited和unvisited两个集合分离管理异常退出时保存状态。正常执行流程 ┌─────────────────────────────────────┐ │ unvisited {url1, url2, url3...} │ │ visited {} │ └─────────────────────────────────────┘ ↓ ┌─────────────────────────────────────┐ │ 取出一个 url1解析所有子链接 │ │ unvisited {url2, url3, url4...} │ │ visited {url1} │ └─────────────────────────────────────┘ ↓ (循环直到 unvisited 为空)异常恢复流程# 程序启动时检查临时文件ifos.path.exists(tmp_links.txt):print([!] 从临时文件读取状态...)visited,unvisitedeval(Common.ReadAllText(tmp_links.txt))使用场景用户开始爬取... 总数50 [] 正在抓取: https://example.com/page45... 总数51 [] 正在抓取: https://example.com/page46... ^C 中断 (CtrlC) 用户发现 page46 不需要过滤掉它 filters {https://example.com/page46} 用户重新运行... [!] 从临时文件读取状态... [] 正在抓取: https://example.com/page47... # ⭐ 从断点继续3️⃣ 默认不下载文件# 新增 accept_downloadsFalsepageMyPlaywright(headlessTrue,accept_downloadsFalse).page这样网页中的下载链接就不会触发自动下载保持工作目录整洁。四、关键技术点总结 核心改进从递归到循环版本方式优点缺点v1.0递归代码直观栈溢出风险、不易中断v2.0循环状态可控、易于断点续爬代码稍复杂 状态持久化# 使用 atexit 注册退出回调atexit.register(on_exit)defon_exit():ifunvisited:Common.WriteAllText(tmp_links.txt,str((visited,unvisited)))⚠️ 注意这里使用eval()反序列化有安全风险生产环境建议用json替代。五、使用效果以 CodeMirror 官网为例用户python crawl.py [] 正在抓取: https://codemirror.net/... [] 正在抓取: https://codemirror.net/5/... # 自动过滤 [✓] 已完成 128 条链接的爬取 用户发现不需要 /5/ 版本 filters {https://codemirror.net/5/} 用户rm internal_links.md python crawl.py [!] 从临时文件读取状态... [] 正在抓取: https://codemirror.net/6/... # 从断点继续 [✓] 已完成 118 条链接的爬取六、后续计划这个工具将继续迭代未来计划 封装成命令行工具支持--url、--filter、--output参数 支持从配置文件读取过滤规则 增加进度显示和预估剩余时间 集成到 AI Agent实现自动化学习流程七、总结 要点回顾链接过滤filters参数支持排除指定前缀的链接断点续爬通过visited/unvisited分离 临时文件实现默认不下载accept_downloadsFalse保持目录整洁核心改进从递归改为循环状态更可控 相关资源上一篇文章Python实现全站链接爬取工具助力打造AI知识库学习人最好的时代技术学习实践分享本文为本人原创首发于掘金。如果你有任何问题或想法欢迎在评论区交流