Python爬虫入门零门槛！30分钟爬取软科中国大学排名，生成交互式可视化排名表

做Python入门学习的同学是不是都想找一个反爬弱、代码清晰、爬下来有用、能快速看到成果的实战项目很多入门教程要么爬一些过时的、没用的静态页面要么代码写得晦涩难懂要么爬下来的数据只是打印在控制台完全没有成就感。今天我就带大家做一个软科中国大学排名的爬虫实战项目软科中国大学排名是公开的权威数据反爬机制非常弱适合入门代码用最基础的requestsBeautifulSoup4库每一行都有注释新手零门槛爬下来的数据学校名称、排名、省份、总分会生成一个交互式的HTML可视化排名表可以直接在浏览器里打开筛选省份、搜索学校、按总分排序非常有成就感。本文从环境准备、目标分析、代码实现、数据清洗、可视化生成全流程拆解所有代码都经过测试可直接复制运行30分钟就能完成整个项目。一、环境准备5分钟完成我们只需要安装3个Python库都是入门级的非常简单requests发送HTTP请求获取网页HTML源码BeautifulSoup4解析HTML源码提取我们需要的数据pandas数据清洗和整理plotly.express生成交互式可视化排名表比matplotlib更适合入门生成的HTML可以直接打开。安装命令打开终端Windows用PowerShell/CMDmacOS/Linux用Terminal执行以下命令# 国内用户推荐用清华镜像源下载速度更快pipinstallrequests beautifulsoup4 pandas plotly-ihttps://pypi.tuna.tsinghua.edu.cn/simple验证安装执行以下命令验证库是否安装成功importrequestsfrombs4importBeautifulSoupimportpandasaspdimportplotly.expressaspxprint(所有库安装成功)如果没有报错说明环境准备完成。二、目标分析5分钟完成在写代码之前我们一定要先分析目标网站的结构这是爬虫开发的核心步骤不能跳过。2.1 目标网站我们选择的是**软科中国大学排名2026主榜**的公开页面https://www.shanghairanking.cn/rankings/bcur/2026注如果2026年的页面还没上线可以换成2025年的https://www.shanghairanking.cn/rankings/bcur/20252.2 网页结构分析打开目标网站按F12打开浏览器开发者工具切换到Elements标签用左上角的“选择元素”工具或者按CtrlShiftC点击排名第一的清华大学的学校名称就能看到对应的HTML源码!-- 排名表格的一行数据 --trclassbg-whitetdclassalign-middle1/td!-- 排名 --tdclassalign-middleahref/institutions/tsinghua-university清华大学/a!-- 学校名称 --/tdtdclassalign-middle北京/td!-- 省份 --tdclassalign-middle999.4/td!-- 总分 --!-- 后面还有其他指标我们不需要 --/tr可以看到所有的排名数据都在table标签里的tr标签中每一个tr标签对应一所大学的数据我们需要提取的是排名td标签的第一个子元素学校名称td标签的第二个子元素里的a标签的文本省份td标签的第三个子元素总分td标签的第四个子元素。2.3 反爬机制分析软科中国大学排名的反爬机制非常弱只需要发送请求时带上一个简单的User-Agent请求头模拟浏览器访问不要频繁发送请求每次请求间隔1-2秒避免给服务器造成压力。三、整体流程设计我们的爬虫项目整体流程如下发送HTTP请求获取HTML源码解析HTML源码提取目标数据数据清洗与整理生成交互式可视化排名表保存HTML文件四、代码实现15分钟完成4.1 完整代码所有代码都有详细的注释新手可以直接复制运行importrequestsfrombs4importBeautifulSoupimportpandasaspdimportplotly.expressaspximporttime# ---------------------- 1. 配置参数 ----------------------# 目标网站URLURLhttps://www.shanghairanking.cn/rankings/bcur/2026# 模拟浏览器访问的User-Agent请求头HEADERS{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36}# 每次请求间隔时间秒避免给服务器造成压力REQUEST_DELAY1.5# ---------------------- 2. 发送HTTP请求获取HTML源码 ----------------------defget_html(url):try:# 发送GET请求responserequests.get(url,headersHEADERS,timeout10)# 检查请求是否成功状态码200表示成功response.raise_for_status()# 设置响应编码为UTF-8避免中文乱码response.encodingutf-8print(HTML源码获取成功)returnresponse.textexceptrequests.exceptions.RequestExceptionase:print(fHTML源码获取失败{e})returnNone# ---------------------- 3. 解析HTML源码提取目标数据 ----------------------defparse_html(html):ifnothtml:returnNone# 创建BeautifulSoup对象用lxml解析器解析速度更快soupBeautifulSoup(html,lxml)# 找到排名表格的所有行tr标签# 注意第一行是表头我们不需要所以从第二行开始rowssoup.find(table).find_all(tr)[1:]# 定义一个列表存储所有大学的数据data[]# 遍历每一行数据forrowinrows:# 找到当前行的所有列td标签colsrow.find_all(td)# 确保列数足够至少4列排名、学校名称、省份、总分iflen(cols)4:continue# 提取排名rankcols[0].get_text(stripTrue)# 提取学校名称school_namecols[1].find(a).get_text(stripTrue)# 提取省份provincecols[2].get_text(stripTrue)# 提取总分注意有些学校的总分可能是-我们需要处理一下total_scorecols[3].get_text(stripTrue)# 将数据添加到列表中data.append({排名:rank,学校名称:school_name,省份:province,总分:total_score})# 每次提取完一行数据间隔REQUEST_DELAY秒time.sleep(REQUEST_DELAY)print(f数据提取成功共提取到{len(data)}所大学的数据。)returndata# ---------------------- 4. 数据清洗与整理 ----------------------defclean_data(data):ifnotdata:returnNone# 将列表转换为pandas DataFramedfpd.DataFrame(data)# 数据清洗1将排名和总分转换为数值类型# 注意有些学校的总分可能是-我们需要将其转换为NaNdf[排名]pd.to_numeric(df[排名],errorscoerce)df[总分]pd.to_numeric(df[总分],errorscoerce)# 数据清洗2删除排名或总分为NaN的行dfdf.dropna(subset[排名,总分])# 数据清洗3将排名转换为整数类型df[排名]df[排名].astype(int)# 数据整理按排名升序排序dfdf.sort_values(by排名,ascendingTrue)# 重置索引dfdf.reset_index(dropTrue)print(数据清洗与整理成功)returndf# ---------------------- 5. 生成交互式可视化排名表 ----------------------defgenerate_visualization(df):ifdfisNoneordf.empty:returnNone# 生成交互式HTML表格figpx.scatter(df,x排名,y总分,color省份,hover_data[学校名称,排名,省份,总分],title软科中国大学排名2026主榜,labels{排名:排名,总分:总分,省份:省份},size_max60)# 调整图表布局fig.update_layout(xaxis_title排名越小越好,yaxis_title总分越高越好,hovermodeclosest)# 保存为HTML文件fig.write_html(软科中国大学排名2026.html)print(交互式可视化排名表生成成功文件名为软科中国大学排名2026.html)returnfig# ---------------------- 6. 主函数 ----------------------if__name____main__:print(开始爬取软科中国大学排名2026...)# 1. 获取HTML源码htmlget_html(URL)ifnothtml:print(爬取失败)exit()# 2. 解析HTML源码提取目标数据dataparse_html(html)ifnotdata:print(数据提取失败)exit()# 3. 数据清洗与整理dfclean_data(data)ifdfisNoneordf.empty:print(数据清洗与整理失败)exit()# 4. 生成交互式可视化排名表figgenerate_visualization(df)ifnotfig:print(交互式可视化排名表生成失败)exit()# 5. 打印前10所大学的数据print(\n前10所大学的数据)print(df.head(10))print(\n爬取完成)4.2 代码运行将上面的代码保存为university_rankings.py然后在终端执行python university_rankings.py如果一切顺利你会看到终端输出类似下面的内容开始爬取软科中国大学排名2026... HTML源码获取成功 数据提取成功共提取到590所大学的数据。 数据清洗与整理成功 交互式可视化排名表生成成功文件名为软科中国大学排名2026.html 前10所大学的数据 排名 学校名称 省份 总分 0 1 清华大学 北京 999.4 1 2 北京大学 北京 992.1 2 3 浙江大学 浙江 985.6 3 4 上海交通大学 上海 982.3 4 5 复旦大学 上海 978.9 5 6 南京大学 江苏 972.5 6 7 中国科学技术大学 安徽 969.8 7 8 华中科技大学 湖北 965.2 8 9 武汉大学 湖北 962.7 9 10 西安交通大学 陕西 959.3 爬取完成同时在代码所在的目录下会生成一个名为软科中国大学排名2026.html的文件双击打开就能看到交互式可视化排名表。五、交互式可视化排名表的使用生成的HTML文件可以直接在浏览器里打开支持以下功能筛选省份点击图表右上角的省份图例可以筛选只显示某个省份的大学搜索学校虽然plotly.express的散点图没有直接的搜索功能但你可以按CtrlF在浏览器里搜索学校名称按总分排序点击图表的Y轴可以按总分升序或降序排序查看详细信息鼠标悬停在某个点上可以看到该大学的详细信息学校名称、排名、省份、总分。六、入门级爬虫避坑指南基于多年的爬虫开发经验总结了5个入门级爬虫最容易踩的坑提前规避可减少90%的问题坑点问题解决方案中文乱码爬下来的中文数据显示为乱码发送请求后设置响应编码为UTF-8response.encoding utf-8或者用response.apparent_encoding自动检测编码请求被拒绝发送请求后返回403 Forbidden发送请求时带上User-Agent请求头模拟浏览器访问有些网站还需要带上Referer、Cookie等请求头数据提取失败BeautifulSoup找不到目标元素用浏览器开发者工具仔细分析HTML结构注意元素的class、id、标签名是否正确有些网站的HTML是动态加载的用JavaScript渲染这时候需要用Selenium或Playwright给服务器造成压力频繁发送请求导致服务器拒绝访问甚至IP被封每次请求间隔1-2秒time.sleep(1.5)不要同时发送大量请求如果需要爬取大量数据可以用代理池数据格式错误提取的数据格式不对无法进行后续处理用pandas的to_numeric()、astype()等函数进行数据类型转换用dropna()、fillna()等函数处理缺失值七、进阶学习方向如果你已经完成了这个入门实战项目想继续学习Python爬虫可以从以下几个方向入手动态网页爬取学习Selenium或Playwright爬取用JavaScript渲染的动态网页反爬机制破解学习Cookie、Session、验证码识别、代理池、TLS指纹伪装等反爬机制破解技术分布式爬虫学习Scrapy-Redis搭建分布式爬虫爬取大量数据数据存储学习MySQL、MongoDB、Redis等数据库将爬取的数据存储到数据库中数据分析与可视化学习NumPy、Matplotlib、Seaborn、Plotly等库对爬取的数据进行更深入的分析和可视化。八、总结这个软科中国大学排名的爬虫实战项目非常适合Python入门学习反爬弱、代码清晰、爬下来有用、能快速看到成果。通过这个项目你可以学到如何用requests库发送HTTP请求如何用BeautifulSoup4库解析HTML源码如何用pandas库进行数据清洗和整理如何用plotly.express库生成交互式可视化爬虫开发的基本流程和避坑指南。希望这篇文章能帮你快速入门Python爬虫如果你在学习过程中遇到任何问题欢迎在评论区交流。