使用Jsoup爬取豆瓣电影Top250（附Java代码）

在日常开发中我们经常需要从网页上获取数据而手动复制粘贴显然太低效。今天我们就来学习如何使用Java的Jsoup库快速爬取豆瓣电影Top250的片名和评分只需几十行代码就能搞定。一、Jsoup简介Jsoup 是一个开源的Java HTML解析器它提供了一套非常便利的API用于从URL、文件或字符串中解析HTML提取和操作数据。它的核心功能包括从一个URL、文件或字符串中解析HTML使用DOM或CSS选择器来查找、提取数据操作HTML元素、属性和文本Jsoup的语法类似于jQuery对于熟悉前端选择器的开发者来说非常友好。二、爬取豆瓣电影Top250的思路豆瓣电影Top250的页面结构比较清晰我们只需要分析HTML找到包含电影信息的列表然后提取每个条目的排名、电影名和评分即可。目标URLhttps://movie.douban.com/top250经过查看网页源码或使用浏览器开发者工具我们发现每部电影信息都包裹在一个li标签中其父级选择器为#content div div.article ol。每个li内部排名在div.pic em中电影名在div.info div.hd a span:nth-child(1)即第一个span评分在div.info div.bd div.star span.rating_num中因此我们可以通过CSS选择器精确定位这些元素。三、代码实现下面是完整的Java程序使用Jsoup爬取豆瓣电影Top250的第一页25条数据。import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; public class DouBanTop250 { public static void main(String[] args) { String url https://movie.douban.com/top250; crawlMovies(url); } public static void crawlMovies(String url) { try { // 模拟浏览器发起GET请求获取整个页面的HTML Document doc Jsoup.connect(url) .userAgent(Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36) .get(); // 使用CSS选择器选中所有电影条目所在的li标签 Elements elements doc.select(#content div div.article ol li); // 遍历每个li提取排名、电影名、评分 for (Element element : elements) { String rank element.select(div.pic em).text(); String name element.select(div.info div.hd a span:nth-child(1)).text(); String score element.select(div.info div.bd div.star span.rating_num).text(); System.out.println(rank name score); } } catch (IOException e) { e.printStackTrace(); } } }四、代码详解1. 添加Jsoup依赖如果你使用Maven在pom.xml中添加dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.17.2/version /dependency如果是Gradlegradleimplementation org.jsoup:jsoup:1.17.22. 模拟浏览器请求豆瓣对爬虫有一定防护直接使用Jsoup.connect(url).get()可能会被拒绝因此我们添加一个常见的User-Agent头模拟真实浏览器java.userAgent(Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...)这样能有效降低被拦截的概率。3. 解析HTMLdoc.select(String cssQuery)方法使用CSS选择器选取元素。这里的选择器#content div div.article ol li是直接从浏览器复制而来的可以精确定位每个电影条目所在的li。4. 提取数据在每个li元素内部再次使用select()方法提取子元素并通过.text()获取纯文本内容。div.pic em排名div.info div.hd a span:nth-child(1)电影名第一个spandiv.info div.bd div.star span.rating_num评分5. 输出结果将排名、电影名、评分拼接后打印到控制台。五、运行结果示例执行上述代码控制台将输出类似以下内容1 肖申克的救赎 9.7 2 霸王别姬 9.6 3 阿甘正传 9.5 4 泰坦尼克号 9.5 5 这个杀手不太冷 9.4 ...如果你想要爬取全部250条需要处理翻页豆瓣Top250的翻页是通过URL参数?startxx实现的每页25条start从0开始递增25。只需循环构造不同start的URL即可。六、注意事项尊重网站的robots.txt在爬取前请检查豆瓣的robots.txthttps://movie.douban.com/robots.txt确保你的爬虫行为合规。控制爬取频率不要过快发送请求建议在两次请求之间添加延时如Thread.sleep(1000)避免对服务器造成压力。User-Agent伪装很多网站会检查请求头务必添加常见的User-Agent。异常处理网络请求可能失败代码中已包含基本的try-catch可根据需要完善重试机制。HTML结构变化如果豆瓣改版选择器可能需要相应调整。七、扩展使用代理和更多反爬策略如果遇到IP被封可以使用代理IP池并在Jsoup中设置代理System.setProperty(http.proxyHost, 代理IP); System.setProperty(http.proxyPort, 端口);对于更复杂的网站可能需要处理Cookie、Session、动态加载的数据这时需要配合Selenium等工具但豆瓣Top250静态页面足够Jsoup处理。八、总结通过这个简单的例子我们学会了如何使用Jsoup解析HTML并提取所需数据。Jsoup的强大之处在于它简洁的API和类jQuery的选择器语法非常适合快速开发爬虫程序。当然爬虫只是获取数据的手段合法合规使用数据才是关键。