Scrapy实战：5sing原创音乐网多页数据爬取（完整可运行，附避坑指南）

Scrapy实战5sing原创音乐网多页数据爬取完整可运行附避坑指南今天给大家带来一个高频实战案例——使用Scrapy框架爬取5sing原创音乐网的多页歌曲数据。作为爬虫领域的经典场景「列表页多页爬取详情页深度解析」是企业开发中最常遇到的需求也是新手从入门到进阶的必经之路。本次实战全程干货不仅提供可直接复制运行的完整代码还会拆解爬取逻辑、分析反爬应对方案、分享实际开发中的踩坑经验无论是有Scrapy基础的小伙伴还是想进阶提升的爬虫爱好者都能有所收获。话不多说直接进入正题。一、实战背景与需求分析5sing是酷狗旗下的中国原创音乐基地汇聚了大量原创音乐人及作品其原创音乐列表页包含歌曲名称、上传时间、人气等基础信息而歌手、作词、作曲、曲风等详细信息则需要进入详情页获取。本次实战的核心需求的如下爬取目标5sing原创音乐列表页https://5sing.kugou.com/yc/list?t1lsp1及前7页数据爬取字段歌曲名称、上传时间、人气、歌手、作词、作曲、曲风7个核心字段覆盖歌曲核心信息核心逻辑列表页提取基础信息详情页链接 → 详情页解析完整信息 → 自动多页翻页 → 数据整合输出反爬应对配置请求头、携带Cookie避免被网站拦截确保爬取稳定性补充说明5sing作为正规音乐平台爬取数据仅用于个人学习、技术交流严禁用于商业用途爬取频率不宜过高尊重平台规则和原创作者权益。二、项目环境准备工欲善其事必先利其器。在开始编写代码前我们需要完成环境配置和项目搭建步骤简单易懂新手也能快速上手。2.1 环境配置本次实战基于Python 3.8核心依赖Scrapy框架若未安装Scrapy直接执行以下命令即可完成安装pipinstallscrapy# 验证安装是否成功scrapy version若安装过程中出现依赖冲突建议使用虚拟环境隔离避免影响本地其他项目环境。2.2 项目搭建打开终端Windows用CMD或PowerShellMac/Linux用终端执行以下命令一步步创建Scrapy项目# 1. 创建Scrapy项目项目名music51可自定义scrapy startproject music51# 2. 进入项目目录cdmusic51# 3. 创建爬虫文件爬虫名sing51爬取域名5sing.kugou.comscrapy genspider sing51 5sing.kugou.com执行完成后项目结构如下重点关注标记文件music51/ ├── music51/ # 项目核心目录 │ ├── __init__.py │ ├── items.py # 数据字段定义重点 │ ├── middlewares.py │ ├── pipelines.py # 数据处理可选 │ ├── settings.py # 项目配置重点 │ └── spiders/ # 爬虫文件目录 │ ├── __init__.py │ └── sing51.py # 核心爬虫代码重点 └── scrapy.cfg # 项目配置文件三、核心代码编写完整可运行项目搭建完成后我们依次编写items.py定义数据字段、sing51.py核心爬虫逻辑代码均已测试通过可直接复制替换无需修改额外配置。3.1 定义数据字段items.pyitems.py用于定义我们需要爬取的字段相当于一个“数据容器”明确字段名称和类型方便后续数据存储和处理。修改items.py如下importscrapyclassMusic51Item(scrapy.Item):# 歌曲名称namescrapy.Field()# 歌手singerscrapy.Field()# 上传时间timescrapy.Field()# 人气rqscrapy.Field()# 作词zuociscrapy.Field()# 作曲zuoquscrapy.Field()# 曲风qufengscrapy.Field()# 说明Field()可指定类型如typestr此处简化配置满足基础爬取需求3.2 核心爬虫逻辑sing51.pysing51.py是本次实战的核心文件包含列表页解析、详情页请求、多页翻页、数据整合等逻辑。以下是完整代码每一行都添加了详细注释方便理解frommusic51.itemsimportMusic51ItemimportscrapyclassSing51Spider(scrapy.Spider):# 爬虫名称必须唯一执行爬虫时需要用到namesing51# 允许爬取的域名防止爬取到其他无关网站allowed_domains[5sing.kugou.com]# 起始爬取URL第一页列表页start_urls[https://5sing.kugou.com/yc/list?t1lsp1]# 可选爬取1-50页注释掉的代码需要时可解锁# start_urls [fhttps://5sing.kugou.com/yc/list?t1lsp{i} for i in range(1,51)]# 配置请求头和Cookie反爬核心避免被网站拦截custom_settings{DEFAULT_REQUEST_HEADERS:{accept:text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.7,accept-language:zh-CN,zh;q0.9,upgrade-insecure-requests:1,# User-Agent模拟浏览器请求避免被识别为爬虫user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Safari/537.36,# Cookie携带浏览器Cookie模拟登录状态提升爬取稳定性cookie:kg_mideaa1ae32c74a32d8cfe0529ae9e09aff; kg_dfid1bq3jP1k0ric0hvjTb0xJFJn; wsp_volume0.8; sl-sessionQ4CYAEJrGGnq5/t9G0NxZQ; ACK_SERVER_10015%7B%22list%22%3A%5B%5B%22bjlogin-user.kugou.com%22%5D%5D%7D; kg_dfid_collectd41d8cd98f00b204e9800998ecf8427e; kg_mid_tempeaa1ae32c74a32d8cfe0529ae9e09aff; ACK_SERVER_10016%7B%22list%22%3A%5B%5B%22bjreg-user.kugou.com%22%5D%5D%7D; ACK_SERVER_10017%7B%22list%22%3A%5B%5B%22bjverifycode.service.kugou.com%22%5D%5D%7D; cctf4b14310,}}# 解析列表页核心方法1提取基础信息和详情页链接defparse(self,response):# Scrapy自带xpath解析无需额外导入lxml直接使用response.xpath()# 定位列表页中的歌曲列表通过F12开发者工具查看页面结构获取xpathdlsresponse.xpath(//div[classlists]/dl)# 遍历每首歌曲的容器提取基础信息fordlindls:# 歌曲名称xpath定位到标题标签get()获取文本内容namedl.xpath(./dd[classl_info]/h3/a/text()).get()# 上传时间timedl.xpath(./dd[classl_time]/text()).get()# 人气rq对应页面中的“人气”字段rqdl.xpath(./dd[classl_rq]/text()).get()# 详情页链接获取a标签的href属性拼接完整URLhrefdl.xpath(./dd[classl_info]/h3/a/href).get()# 拼接完整URL页面中href是相对路径需加上域名hrefhttps://5sing.kugou.comhref# 发起详情页请求将列表页提取的基础信息通过meta传递给详情页解析方法yieldscrapy.Request(urlhref,# 详情页URLcallbackself.parse_detail,# 详情页解析方法meta{name:name,time:time,rq:rq}# 传递数据列表页→详情页)# 多页翻页逻辑爬取第2-7页可根据需求修改范围foriinrange(2,8):# 拼接第i页的URL发起请求回调自身继续解析列表页yieldscrapy.Request(urlfhttps://5sing.kugou.com/yc/list?t1lsp{i},callbackself.parse)# 解析详情页核心方法2提取歌手、作词、作曲、曲风等详细信息defparse_detail(self,response):# 接收列表页传递过来的数据meta参数metaresponse.meta# 解析详情页字段通过F12查看详情页结构定位对应标签# 歌手定位到歌手标签get()获取文本若为空则返回空字符串singerresponse.xpath(//ul[classlt mb15]/li[1]/a/text()).get()or# 作词zuociresponse.xpath(//ul[classlt mb15]/li[2]/a/text()).get()or# 作曲zuoquresponse.xpath(//ul[classlt mb15]/li[3]/a/text()).get()or# 曲风第8个li标签是曲风get()获取后去除多余空格qufengresponse.xpath(//ul[classlt mb15]/li[8]/text()).get()orqufengqufeng.strip()ifqufengelse# 数据整合将列表页和详情页的信息存入Music51Item容器itemMusic51Item({name:meta[name],# 列表页传递的歌曲名称singer:singer,# 详情页解析的歌手time:meta[time],# 列表页传递的上传时间rq:meta[rq],# 列表页传递的人气zuoci:zuoci,# 详情页解析的作词zuoqu:zuoqu,# 详情页解析的作曲qufeng:qufeng# 详情页解析的曲风})# 输出数据Scrapy会自动处理可后续配置 pipelines 存储到文件/数据库yielditem3.3 项目配置优化settings.py默认的settings.py无需大量修改只需调整3个关键配置提升爬取稳定性和效率避免被反爬# 1. 禁止遵循robots协议部分网站robots协议限制爬虫可关闭ROBOTSTXT_OBEYFalse# 2. 设置下载延迟单位秒避免请求频率过高被拦截建议0.5-1秒DOWNLOAD_DELAY0.8# 3. 开启日志可选方便调试爬取成功后可关闭LOG_LEVELINFO# 其他配置保持默认即可无需修改四、爬虫运行与结果查看代码编写完成后我们就可以运行爬虫查看爬取结果了。步骤如下4.1 运行爬虫在终端中进入music51项目目录执行以下命令运行爬虫scrapy crawl sing51-omusic_data.csv命令说明scrapy crawl sing51运行名称为“sing51”的爬虫-o music_data.csv将爬取到的数据保存为CSV文件方便用Excel查看也可改为.json、.xml格式4.2 结果查看运行完成后项目目录下会生成music_data.csv文件打开后即可看到爬取的所有数据示例如下部分数据name歌曲名称singer歌手time上传时间rq人气zuoci作词zuoqu作曲qufeng曲风聘猫记心然2025-09-07627617未知未知古风秋风词于文华2025-09-08418852未知未知古风注部分歌曲的作词、作曲信息可能为空这是因为页面中未显示该信息属于正常情况可在代码中添加判断将空值替换为“未知”提升数据完整性。五、实战踩坑经验与优化建议在实际开发中我遇到了几个常见问题这里分享给大家帮助大家避坑提升爬虫的稳定性和效率。5.1 常见踩坑点及解决方案坑点1请求被拦截爬取失败报403 Forbidden错误解决方案配置请求头User-Agent和Cookie模拟浏览器登录状态避免被网站识别为爬虫。本文代码中已配置好Cookie和User-Agent可直接使用若后续失效可自行在浏览器中复制F12→Network→刷新页面→找到任意请求→Headers→Cookie和User-Agent。坑点2xpath定位失败提取不到数据解决方案通过F12开发者工具精准定位标签避免xpath路径错误。重点注意页面标签可能存在动态加载本次案例无动态加载直接xpath定位即可若遇到动态加载可使用Selenium或Scrapy-Splash辅助爬取。坑点3多页翻页逻辑出错只爬取第一页解决方案检查翻页URL的规律本次翻页仅改变p参数如p1、p2确保循环范围正确回调函数指定为parse自身避免回调错误。坑点4数据为空出现None值解决方案在提取数据时添加判断or “”将None值替换为空字符串避免后续数据处理报错。如本文代码中singer response.xpath(…).get() or “”。5.2 优化建议进阶提升如果想进一步提升爬虫的性能和实用性可以参考以下优化方向数据存储优化将CSV文件改为存储到MySQL、MongoDB等数据库使用Scrapy的pipelines.py实现数据持久化适合大量数据爬取。反爬升级添加IP代理池避免单一IP被封禁随机修改User-Agent模拟不同浏览器请求增加随机延迟避免请求频率固定。异常处理添加try-except异常捕获处理页面加载失败、xpath定位失败等异常确保爬虫不会中途中断。爬取范围扩展解锁start_urls中的注释代码实现1-50页自动爬取添加曲风筛选功能爬取指定曲风如古风、流行的歌曲。六、总结与拓展本次实战通过Scrapy框架成功实现了5sing原创音乐网的多页数据爬取核心掌握了「列表页详情页」的联动爬取逻辑、请求头与Cookie的反爬配置、多页翻页实现等关键技能。整个案例难度适中贴近实际开发场景适合作为Scrapy进阶练习的案例。从技术层面来说Scrapy的优势在于其高效的异步请求、灵活的解析方式和完善的生态相比requestsBeautifulSoupScrapy更适合多页、大量数据的爬取能够极大提升开发效率。本次案例的代码可直接复用只需替换Cookie和User-Agent即可适配其他类似的列表页详情页爬取场景如小说网、新闻网。最后提醒大家爬虫开发需坚守合法合规的原则尊重网站的robots协议和数据版权不恶意爬取、不滥用爬取的数据。如果大家在实践过程中遇到问题欢迎在评论区留言我会及时回复解答。后续我还会分享更多Scrapy实战案例如动态页面爬取、分布式爬虫关注我了解更多爬虫技巧和实战案例经验