一、爬虫-爬取豆瓣电影案例

1、环境配置

        你需要一个pycharm和requests第三方库，在安装完成之后即可继续浏览。

2、操作流程

        （1）打开豆瓣电影网站，点击排行榜，点击喜剧，检查

        （2）可以看到鼠标每次下移，都会出现新的电影，所以该页面属于局部刷新，返回数据为json格式数据，得到url，并且得到type参数

        ""如何查看此处不演示，主要是不敢""

        （3）编写代码

import json
import requests
if __name__ == "__main__":get_url = "https://movie.douban.com/j/chart/top_list"get_param = {"type": "24","interval_id": "100:90","action": "",# start代表从豆瓣电影库中第120部电影获取"start": "1",# 每次请求去除的数量是limit"limit": "20",}get_headers = {'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Mobile Safari/537.36"}# 响应response = requests.get(url=get_url, params=get_param, headers=get_headers)# 获取响应数据list_data = response.json()# 持久化存储fp = open('./html/douban.json', 'w', encoding='UTF-8')json.dump(list_data, fp=fp, ensure_ascii=False)print("over")

3、爬取结果

        在运行成功之后，会得到一个json格式文件，文件目录为：

./爬虫/html/douban.json