Python爬虫实战：构建 DeviantArt 每日精选艺术作品的增量采集流水线！

㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐⭐福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层Fetcher7️⃣ 核心实现解析层Parser8️⃣ 数据存储与导出Storage9️⃣ 运行方式与结果展示必写 常见问题与排错强烈建议写1️⃣1️⃣ 进阶优化可选但加分1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface这篇文章里我将带你使用 Python 和 Playwright 框架打造一个能够按日期回溯并增量采集 DeviantArt 每日精选Daily Deviations的自动化脚本。最终产出是一份名为deviantart_daily.csv的结构化数据集。读完能获得什么掌握基于时间轴时间戳/日期参数的“增量爬虫”架构设计思维。学会用 Playwright 模拟人类的Hover悬停动作提取被隐藏的动态数据点赞/评论。拥有一套可以挂在服务器上每天自动跑的艺术灵感收集器。1️⃣ 摘要Abstract本文针对 DeviantArt 重度 SPA单页应用的特性摒弃传统的静态解析采用 Playwright 驱动无头浏览器。通过构造历史日期 URL 访问归档页面并结合本地游标文件实现每天只抓新数据的“增量收集”逻辑精准抽取作品标题、作者、收藏数与评论数。读完能获得什么真实可用的 DeviantArt 自动化数据采集源码。应对前端类名混淆与懒加载数据的实战破局思路。2️⃣ 背景与需求Why为什么要爬DeviantArt 的每日精选代表了数字艺术界的审美风向标。对于游戏原画师、UI 视觉设计师或是数字艺术分析师来说将这些每日精选自动化聚合不仅能建立专属的灵感数据库还能通过数据分析哪位作者上榜最多哪类作品互动率最高洞察市场趋势。目标站点与字段清单目标页面https://www.deviantart.com/dailydeviations目标字段Title作品标题Author创作者昵称Favorites收藏数点赞Comments评论数Date上榜日期用于增量记录3️⃣ 合规与注意事项必写在触碰全球顶尖艺术家的作品前我们必须牢记爬虫工程师的操守️敬畏 robots.txt虽然我们可以模拟浏览器但请严格控制抓取频率。我们的目标是“每日增量”每天其实只有几十条数据千万不要用多线程去并发狂刷。尊重版权极其重要本脚本仅采集公开的统计元数据标题、点赞等绝对不涉及批量下载受版权保护的高清原图。我们是数据的观察者绝不侵犯艺术家的核心资产。不要绕过登录验证我们只抓取未登录状态下对公众完全开放的 Daily Deviations 页面。4️⃣ 技术选型与整体流程What/How技术路线动态渲染 增量游标模式DA 的页面源码里根本没有具体的作品数据全靠 JS 动态渲染。且列表页中的“收藏数”和“评论数”有时需要用户将鼠标**悬停Hover**在卡片上才会从 DOM 树中生成。这种变态的交互逻辑只有Playwright能完美破解。整体流程增量设计读取本地last_date.txt游标 → 计算今天需要抓取的日期列表 → 拼接 URL 访问归档页 → 模拟悬停解析 DOM → 追加写入 CSV → 更新本地日期游标5️⃣ 环境准备与依赖安装可复现你需要准备好 Python 环境推荐 3.9然后安装我们的核心武器库pipinstallplaywright playwrightinstallchromium推荐项目结构deviantart_scraper/ ├── scraper.py # 主线脚本 ├── cursor_date.txt # 增量游标记录最后一次抓取的日期 └── data/ └── deviantart_daily.csv # 最终输出的英文名数据集6️⃣ 核心实现请求层Fetcher我们不再漫无目的地滚动而是直接利用 DA 的 URL 规则例如加上?dateYYYY-MM-DD参数来进行时间旅行。importdatetimedefget_target_dates(last_date_str): 计算从最后一次抓取到昨天之间的所有日期增量逻辑 昨天是保证数据已经完全沉淀的安全边界。 date_format%Y-%m-%dtodaydatetime.date.today()end_datetoday-datetime.timedelta(days1)ifnotlast_date_str:# 如果是第一次跑默认抓取过去 3 天作为冷启动start_dateend_date-datetime.timedelta(days2)else:start_datedatetime.datetime.strptime(last_date_str,date_format).date()start_datedatetime.timedelta(days1)# 从游标的下一天开始dates_to_scrape[]current_datestart_datewhilecurrent_dateend_date:dates_to_scrape.append(current_date.strftime(date_format))current_datedatetime.timedelta(days1)returndates_to_scrape设计精髓永远不抓当天的因为当天的精选可能还没更新完毕。抓“昨天”的数据是最稳妥的增量策略。7️⃣ 核心实现解析层Parser真正的技术活来了。DA 的元素全都是随机乱码 class我们要依靠 HTML5 的语义标签如header,a,img的alt属性或特定图标来定位。importasynciofromplaywright.async_apiimportasync_playwrightimportrandomasyncdefparse_daily_page(page,target_date):解析单日精选页面解决懒加载与悬停显示数据问题urlfhttps://www.deviantart.com/dailydeviations?date{target_date}print(f⏳ 正在前往时间线{url})# 增加超时并等待网络空闲确保 React 组件挂载完毕awaitpage.goto(url,wait_untilnetworkidle,timeout60000)# DA 的画廊通常在一个带有特定 role 的 div 或 section 中# 我们定位所有包含 href 属性的图像卡片链接card_locatorsawaitpage.locator(a[data-hookdeviation_link]).all()ifnotcard_locators:print(f⚠️{target_date}未找到作品卡片可能页面结构变更或当天无数据。)return[]daily_data[]forcardincard_locators:try:# 1. 提取标题 (通常在 img 的 alt 中或卡片内部的标题块)img_elementcard.locator(img).first titleawaitimg_element.get_attribute(alt)orUnknown Title# 2. 交互式破解鼠标悬停触发底层 DOM 渲染 (极其关键)awaitcard.hover()awaitpage.wait_for_timeout(random.randint(800,1500))# 给前端渲染动画时间# 3. 提取作者 (通常在 a 标签上带特定 href 或包裹在 header 附近)# 找离卡片最近的带有 user 标识的链接author_loccard.locator(xpathancestor::div[1]//a[data-hookuser_link])authorawaitauthor_loc.inner_text()ifawaitauthor_loc.count()0elseUnknown Author# 4. 提取收藏与评论# 寻找心形图标收藏和气泡图标评论旁边的数字fav_loccard.locator(xpath.//span[contains(text(), Faves) or contains(class, fave)]/preceding-sibling::span | .//button[contains(aria-label, Fave)]//span)favoritesawaitfav_loc.first.inner_text()ifawaitfav_loc.count()0else0comm_loccard.locator(xpath.//span[contains(text(), Comments) or contains(class, comment)]/preceding-sibling::span | .//a[contains(href, comments)]//span)commentsawaitcomm_loc.first.inner_text()ifawaitcomm_loc.count()0else0daily_data.append({Date:target_date,Title:title.strip(),Author:author.strip(),Favorites:favorites.strip(),Comments:comments.strip()})exceptExceptionase:print(f❌ 卡片解析容错触发跳过此卡片。原因:{str(e)[:50]}...)continuereturndaily_data 专家提示Parser面对 DA 这种随时换class名的网站少用 CSS 类名多用data-hook属性或者XPath基于文本内容如contains(text(), Faves)进行相对定位。这能让你的代码寿命延长 10 倍8️⃣ 数据存储与导出Storage采用追加模式Append将增量数据写入英文命名的 CSV。每次跑完后必须更新“游标文件”记录今天的战果。importcsvimportosdefsave_and_update_cursor(data_list,current_date,csv_filedata/deviantart_daily.csv,cursor_filecursor_date.txt):os.makedirs(os.path.dirname(csv_file),exist_okTrue)fieldnames[Date,Title,Author,Favorites,Comments]# 写入数据ifdata_list:file_existsos.path.isfile(csv_file)withopen(csv_file,modea,newline,encodingutf-8)asf:writercsv.DictWriter(f,fieldnamesfieldnames)ifnotfile_exists:writer.writeheader()writer.writerows(data_list)# 更新游标断点续跑的核心withopen(cursor_file,modew,encodingutf-8)asf:f.write(current_date)print(f{current_date}数据已持久化游标已更新)9️⃣ 运行方式与结果展示必写主程序的调度逻辑如下asyncdefmain():# 读取上次抓取的最后日期cursor_filecursor_date.txtlast_dateifos.path.exists(cursor_file):withopen(cursor_file,r)asf:last_datef.read().strip()dates_to_runget_target_dates(last_date)ifnotdates_to_run:print( 已经是最新数据今天无需加班明天见)returnprint(f 增量任务启动本次需补充{len(dates_to_run)}天的数据。)asyncwithasync_playwright()asp:browserawaitp.chromium.launch(headlessFalse)# 建议开启可视化观察contextawaitbrowser.new_context(user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36)pageawaitcontext.new_page()fordate_strindates_to_run:daily_itemsawaitparse_daily_page(page,date_str)ifdaily_items:save_and_update_cursor(daily_items,date_str)else:# 即使没抓到也要推游标防止死循环save_and_update_cursor([],date_str)# 请求间隔保护对方服务器awaitpage.wait_for_timeout(random.randint(3000,6000))awaitbrowser.close()print( 本次增量采集流水线全部执行完毕)if__name____main__:asyncio.run(main())展示示例结果deviantart_daily.csvDateTitleAuthorFavoritesComments2024-05-20Cyberpunk CityscapeNeonArtist1.2K852024-05-20Forest Guardian (3D)JohnDoe850422024-05-21Autumn PortraitJaneArt2.5K310 常见问题与排错强烈建议写被 Cloudflare 拦截弹出“Verify you are human”应对手段DA 有时会开启强力防护。将 Playwright 的headlessFalse手动完成一次验证或者接入playwright-stealth插件隐藏自动化指纹。点赞数和评论数抓出来全是空或者 0真相追踪这就是懒加载的威力检查代码里await card.hover()之后是不是wait_for_timeout等待时间不够导致数字还没渲染出来你就去拔网线了。适当调大休眠时间。解析时频繁抛出 TimeoutError应对手段页面图片太多加载太慢。可以优化page.goto的参数将wait_until从networkidle改为domcontentloaded只要核心结构出来即可。1️⃣1️⃣ 进阶优化可选但加分作为一个成熟的增量系统我们还可以加入这些黑科技Crontab 定时任务在 Linux 服务器上设置0 2 * * * python3 scraper.py每天凌晨 2 点执行让它彻底成为自动挡。异常通知集成在代码里接一个钉钉机器人或者企业微信 webhook如果某天抓取的数据量为 0可能是页面大改版第一时间往你的手机发报警消息。SQLite 替代 CSV数据量大了之后引入 SQLite基于(Date, Title)设置唯一索引Unique Constraint在数据库层面进行绝对的去重防护。1️⃣2️⃣ 总结与延伸阅读复盘我们非常漂亮地完成了一个具备“增量收集”能力的自动化爬虫系统。我们用时间轴游标替代了无脑循环用模拟 Hover 破解了前端懒加载陷阱这是从“单次玩具脚本”走向“持续数据工程”的关键一步。下一步探索像 DA 这种大厂所有的点赞、评论数据其实都走了一个名为DiFi(DeviantArt 的底层 API 服务) 的接口。如果你对抓包分析有兴趣下一步可以尝试完全脱离浏览器研究它的 API Token 签名规则那才是真正的降维打击 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。