【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

1.抓包工具查看网站信息

请求路径

url:https://movie.douban.com/typerank

请求参数

页面往下拉，出现新的请求结果，参数start更新，每次刷新出20条新的电影数据

2.代码实现

# 使用网络爬虫，爬取https://movie.douban.com/typerank 的电影数据# 导入requests包
import requests#请求路径
url = "https://movie.douban.com/j/chart/top_list"# 请求头
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}# 参数
params = {"type": "11","interval_id": "100:90","action": "","start": 60,"limit": 20
}# 发送请求，获取响应
response = requests.get(url, params=params,headers=headers)# 输出
print(response.json())# 关闭响应
response.close()

3.运行结果

start为60 的运行结果


start为0 的运行结果