用Requests和BeautifulSoup4爬取豆瓣电影Top250：手把手教你构建个人电影数据库

构建个人电影数据库从豆瓣Top250到数据分析全流程实战每次打开豆瓣电影Top250页面总会被那些经典影片吸引。作为影迷你是否想过拥有一个专属的电影数据库不仅能随时查阅还能进行个性化分析本文将带你用Python实现这个想法——从爬取数据到存储分析打造属于你的电影智库。1. 环境准备与基础爬虫搭建工欲善其事必先利其器。我们需要准备以下工具Python 3.8推荐使用最新稳定版Requests库用于发送HTTP请求BeautifulSoup4HTML解析利器SQLite3轻量级数据库Python内置支持首先安装必要的第三方库pip install requests beautifulsoup4基础爬虫的核心是模拟浏览器行为。豆瓣有基础的反爬机制我们需要设置合理的请求头import requests from bs4 import BeautifulSoup headers { User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7), Accept-Language: zh-CN,zh;q0.9 } def get_page(url): try: response requests.get(url, headersheaders) response.raise_for_status() return response.text except requests.exceptions.RequestException as e: print(f请求失败: {e}) return None2. 数据解析与结构化处理获取HTML只是第一步关键是从中提取有价值的信息。豆瓣Top250页面的电影信息包含在div classitem元素中我们可以这样解析def parse_movie(item): title item.find(span, class_title).get_text(stripTrue) rating item.find(span, class_rating_num).get_text(stripTrue) info item.find(div, class_bd).p.get_text( , stripTrue).split(/) # 处理国家/地区和年份信息 year info[-2].strip() country info[-3].strip() if len(info) 2 else 未知 # 处理导演和主演信息 staff info[0].replace(导演:, ).strip() return { title: title, rating: float(rating), year: int(year), country: country, staff: staff }实际应用中还需要考虑异常处理和字段清洗部分电影可能有副标题某些老电影年份格式不一致多国家合拍片的处理3. 数据存储方案设计获取数据后我们需要考虑存储方案。以下是三种常见选择的对比存储方式优点缺点适用场景CSV文件简单易用无需额外依赖查询效率低无数据类型校验小规模数据快速存储SQLite轻量级关系型数据库支持SQL需要基础SQL知识中等规模结构化数据MongoDB灵活的无模式文档存储需要安装额外服务非结构化或变化频繁的数据推荐使用SQLite作为个人项目的存储方案import sqlite3 def init_db(): conn sqlite3.connect(movie.db) cursor conn.cursor() cursor.execute( CREATE TABLE IF NOT EXISTS movies ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, rating REAL, year INTEGER, country TEXT, staff TEXT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) conn.commit() return conn插入数据时使用批量操作提升效率def save_to_db(conn, movies): cursor conn.cursor() cursor.executemany( INSERT INTO movies (title, rating, year, country, staff) VALUES (:title, :rating, :year, :country, :staff) , movies) conn.commit()4. 分页爬取与反爬策略豆瓣Top250分布在10个页面每页25条。我们需要处理分页逻辑base_url https://movie.douban.com/top250 def crawl_all_pages(): conn init_db() for start in range(0, 250, 25): url f{base_url}?start{start} print(f正在爬取: {url}) html get_page(url) if html: soup BeautifulSoup(html, html.parser) items soup.find_all(div, class_item) movies [parse_movie(item) for item in items] save_to_db(conn, movies) time.sleep(3) # 礼貌性延迟 conn.close()应对反爬的实用技巧随机延迟避免固定间隔请求import random time.sleep(random.uniform(1, 3))代理IP池应对IP封锁proxies { http: http://your_proxy:port, https: https://your_proxy:port }请求头轮换模拟不同设备5. 数据分析与可视化有了数据仓库我们可以进行有趣的分析。比如统计各国电影数量import pandas as pd import matplotlib.pyplot as plt def analyze_country_distribution(conn): df pd.read_sql( SELECT country, COUNT(*) as count FROM movies GROUP BY country ORDER BY count DESC LIMIT 10 , conn) plt.figure(figsize(10,6)) df.plot(kindbar, xcountry, ycount) plt.title(豆瓣Top250电影国家分布) plt.tight_layout() plt.savefig(country_distribution.png)更深入的分析可能包括各年份平均评分趋势导演作品数量与质量关系电影时长与评分相关性6. 项目扩展与优化方向基础功能实现后可以考虑以下增强数据丰富化获取电影海报爬取用户短评收集影片类型标签系统优化增量更新机制异常恢复功能自动化定时爬取应用扩展构建推荐系统开发可视化仪表盘制作个人观影记录APP# 示例获取电影海报 def download_poster(url, save_path): response requests.get(url, headersheaders, streamTrue) if response.status_code 200: with open(save_path, wb) as f: for chunk in response.iter_content(1024): f.write(chunk)7. 项目部署与持续维护将爬虫部署到服务器需要注意日志记录监控爬虫运行状态import logging logging.basicConfig( filenamecrawler.log, levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s )异常处理网络波动、页面改版等数据备份定期导出数据库快照合规性遵守robots.txt规定控制请求频率实际项目中我曾遇到豆瓣页面结构调整导致解析失败的情况。解决方案是增加多种解析策略设置失败重试机制定期检查爬虫有效性