爬虫登录状态保持实战：用Session和Cookies搞定需要登录的网站（以B站为例）

爬虫登录状态保持实战用Session和Cookies搞定需要登录的网站以B站为例当你想要爬取B站个人收藏夹、微博私信或者任何需要登录才能访问的数据时如何保持登录状态就成了一个必须解决的问题。这就像你要进入一个会员制俱乐部光有会员卡账号密码还不够每次进出还得出示有效的入场凭证登录状态。本文将带你深入理解两种主流的登录状态保持方式手动管理Cookies和使用Session对象并通过B站的实际案例展示如何操作。1. 理解登录状态保持的核心机制登录状态的保持本质上是通过HTTP协议的无状态特性实现的。HTTP协议本身是无状态的这意味着每次请求都是独立的服务器不会记住你之前的请求。为了解决这个问题Web开发中引入了Session和Cookies的概念。Cookies是服务器发送到用户浏览器并保存在本地的一小块数据它会在浏览器下次向同一服务器发起请求时被携带并发送到服务器上。常见的登录状态保持方式包括Session Cookies临时Cookies浏览器关闭后失效Persistent Cookies持久化Cookies有明确的过期时间HttpOnly Cookies只能通过HTTP协议传输JavaScript无法读取Secure Cookies只能通过HTTPS协议传输Session则是服务器端保存用户状态的一种机制。当用户第一次访问网站时服务器会创建一个Session并生成一个唯一的Session ID这个ID通常通过Cookie发送给客户端。在Python爬虫中我们主要关注的是如何获取和维持这些认证信息。requests库提供了两种主要方式手动管理Cookies获取登录后的Cookies并在后续请求中携带使用Session对象自动处理Cookies的发送和接收2. 手动管理Cookies的实战方法手动管理Cookies是最基础的方式适合简单的爬虫场景。它的核心步骤是先通过浏览器登录获取Cookies然后在爬虫代码中使用这些Cookies。2.1 获取B站登录Cookies打开Chrome浏览器访问B站(https://www.bilibili.com)并登录按F12打开开发者工具切换到Network(网络)选项卡刷新页面在Network中找到任意一个请求(通常是第一个)点击该请求在右侧找到Headers(标头)部分滚动到Request Headers(请求标头)部分找到cookie字段你会看到类似这样的内容SESSDATAxxxxxx; bili_jctxxxxxx; DedeUserIDxxxxxx; ...这些就是维持你登录状态的关键Cookies。把它们复制下来我们将在代码中使用。2.2 在Python代码中使用Cookiesimport requests # 从浏览器获取的Cookies cookies { SESSDATA: 你的SESSDATA值, bili_jct: 你的bili_jct值, DedeUserID: 你的DedeUserID值 } # 设置请求头 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://www.bilibili.com/ } # 访问需要登录的页面比如个人中心 url https://api.bilibili.com/x/web-interface/nav response requests.get(url, headersheaders, cookiescookies) # 检查是否登录成功 if response.json()[code] 0: print(登录成功当前用户:, response.json()[data][uname]) else: print(登录失败:, response.json()[message])注意Cookies包含敏感信息千万不要将包含真实Cookies的代码上传到公开仓库。建议将Cookies存储在环境变量或配置文件中并在.gitignore中排除这些文件。2.3 手动管理Cookies的优缺点优点实现简单适合一次性爬取不需要处理登录流程直接使用已有Cookies性能开销小不需要维护Session缺点Cookies会过期需要定期更新安全性较低Cookies可能泄露无法自动处理Cookies更新对于复杂的登录流程(如两步验证)支持有限3. 使用Session对象的高级方法requests.Session是更高级、更推荐的方式。Session对象会自动处理Cookies让你像浏览器一样维持登录状态。3.1 Session的工作原理Session对象在requests库中是一个持久化的连接它会自动保存服务器设置的Cookies并在后续请求中自动发送这些Cookies。这模拟了浏览器的行为使得登录状态的保持变得简单。Session的主要特点自动处理Cookies的存储和发送保持TCP连接复用提高性能可以设置默认的headers和auth信息支持连接池减少连接建立的开销3.2 使用Session登录B站B站的登录流程相对复杂涉及加密参数和验证码。以下是完整的登录示例import requests from bs4 import BeautifulSoup # 创建Session对象 session requests.Session() # 设置通用请求头 session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://passport.bilibili.com/login, Origin: https://passport.bilibili.com }) # 第一步获取登录页提取必要参数 login_page_url https://passport.bilibili.com/login login_page session.get(login_page_url) soup BeautifulSoup(login_page.text, html.parser) # 获取csrf token等必要参数 csrf_token soup.find(input, {name: csrf})[value] # 第二步构造登录请求 login_url https://passport.bilibili.com/api/v3/oauth2/login login_data { username: 你的B站账号, password: 你的B站密码, csrf: csrf_token, keep: true } # 发送登录请求 login_response session.post(login_url, datalogin_data) # 检查登录是否成功 if login_response.json()[code] 0: print(登录成功) else: print(登录失败:, login_response.json()[message]) exit() # 第三步验证登录状态 nav_url https://api.bilibili.com/x/web-interface/nav nav_response session.get(nav_url) if nav_response.json()[code] 0: print(当前用户:, nav_response.json()[data][uname]) else: print(验证登录状态失败:, nav_response.json()[message])3.3 Session的高级用法Session对象还支持许多高级功能可以应对更复杂的爬虫场景设置超时和重试from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry # 配置重试策略 retry_strategy Retry( total3, backoff_factor1, status_forcelist[429, 500, 502, 503, 504] ) # 创建适配器并挂载到Session adapter HTTPAdapter(max_retriesretry_strategy) session.mount(https://, adapter) session.mount(http://, adapter)使用代理proxies { http: http://your-proxy-address:port, https: http://your-proxy-address:port } session.proxies.update(proxies)处理Cookie过期def check_login(session): nav_url https://api.bilibili.com/x/web-interface/nav response session.get(nav_url) return response.json()[code] 0 if not check_login(session): print(登录已过期重新登录...) # 重新执行登录流程4. Session与手动Cookies的对比与选择为了帮助你更好地选择适合的方案我们整理了一个对比表格特性手动管理Cookies使用Session对象实现复杂度简单中等维护成本高(需手动更新Cookies)低(自动处理)安全性较低(Cookies暴露)较高性能高中等(有连接开销)适用场景简单、一次性爬取复杂、长期运行的爬虫登录流程支持有限完整Cookies过期处理需手动处理可自动重新登录并发支持好需注意Session线程安全选择建议如果是简单的、一次性的爬取任务手动管理Cookies可能更简单直接如果需要爬取大量页面或长期运行使用Session更可靠对于复杂的登录流程(如验证码、OAuth等)Session是更好的选择在高并发场景下可以考虑为每个线程创建独立的Session5. 实战爬取B站个人收藏夹现在我们结合前面学到的知识实现一个完整的B站个人收藏夹爬虫。我们将使用Session方式因为它更接近真实浏览器的行为。import requests from bs4 import BeautifulSoup import json class BiliBiliFavorites: def __init__(self, username, password): self.session requests.Session() self.username username self.password password self.logged_in False # 配置Session self._configure_session() def _configure_session(self): 配置Session的基本参数 self.session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://www.bilibili.com/, Origin: https://www.bilibili.com }) def login(self): 登录B站账号 # 获取登录页 login_page_url https://passport.bilibili.com/login login_page self.session.get(login_page_url) soup BeautifulSoup(login_page.text, html.parser) # 获取csrf token csrf_token soup.find(input, {name: csrf})[value] # 构造登录请求 login_url https://passport.bilibili.com/api/v3/oauth2/login login_data { username: self.username, password: self.password, csrf: csrf_token, keep: true } # 发送登录请求 login_response self.session.post(login_url, datalogin_data) result login_response.json() if result[code] 0: self.logged_in True print(登录成功) return True else: print(登录失败:, result.get(message, 未知错误)) return False def get_favorites(self, uidNone): 获取收藏夹列表 if not self.logged_in and not self.login(): return None # 如果没有指定uid获取当前用户的uid if not uid: nav_url https://api.bilibili.com/x/web-interface/nav nav_response self.session.get(nav_url) if nav_response.json()[code] ! 0: print(获取用户信息失败) return None uid nav_response.json()[data][mid] # 获取收藏夹列表 fav_list_url fhttps://api.bilibili.com/x/v3/fav/folder/created/list-all?up_mid{uid} response self.session.get(fav_list_url) if response.json()[code] ! 0: print(获取收藏夹列表失败:, response.json()[message]) return None return response.json()[data][list] def get_favorite_contents(self, media_id, page1, page_size20): 获取指定收藏夹的内容 if not self.logged_in and not self.login(): return None url fhttps://api.bilibili.com/x/v3/fav/resource/list?media_id{media_id}pn{page}ps{page_size} response self.session.get(url) if response.json()[code] ! 0: print(获取收藏内容失败:, response.json()[message]) return None return response.json()[data] def save_to_file(self, data, filename): 将数据保存到文件 with open(filename, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2) print(f数据已保存到 {filename}) # 使用示例 if __name__ __main__: # 替换为你的B站账号和密码 bili BiliBiliFavorites(username你的账号, password你的密码) if bili.login(): # 获取收藏夹列表 favorites bili.get_favorites() if favorites: print(收藏夹列表:) for fav in favorites: print(f{fav[id]}: {fav[title]} (共{fav[media_count]}个内容)) # 获取第一个收藏夹的内容 media_id favorites[0][id] contents bili.get_favorite_contents(media_id) if contents: print(f\n收藏夹 {favorites[0][title]} 的内容:) for item in contents[medias]: print(f{item[id]}: {item[title]} (UP: {item[upper][name]})) # 保存到文件 bili.save_to_file(contents, bilibili_favorites.json)这个示例展示了如何使用Session对象完整地实现一个B站收藏夹爬虫。它包含了登录、获取收藏夹列表、获取收藏内容等完整功能并且将结果保存为JSON文件。6. 常见问题与解决方案在实际开发中你可能会遇到各种问题。以下是几个常见问题及其解决方案6.1 登录失败问题问题表现登录请求返回错误如验证码错误、密码错误等。解决方案检查账号密码是否正确如果需要验证码先获取验证码图片并手动输入检查请求参数是否完整特别是csrf token尝试降低请求频率避免触发反爬机制6.2 Cookies过期问题问题表现之前能正常访问的接口突然返回未登录错误。解决方案实现自动检测登录状态的函数定期检查发现过期后自动重新登录对于手动Cookies方式需要定期从浏览器更新Cookies6.3 反爬机制应对问题表现请求被拒绝返回403或其它错误码。解决方案确保User-Agent是真实浏览器的值添加Referer等必要的请求头控制请求频率添加随机延迟使用代理IP轮换对于特别严格的反爬可能需要模拟更复杂的浏览器行为6.4 性能优化问题表现爬取速度慢响应时间长。解决方案使用Session保持连接减少TCP握手开销合理设置超时和重试策略对于大量数据实现分页或并发请求缓存已经获取的数据避免重复请求提示在开发爬虫时建议先使用浏览器开发者工具仔细分析正常请求的所有细节包括请求头、请求体、Cookies等然后在代码中尽可能完整地模拟这些参数。