当前位置： 首页 > news >正文

豆瓣Top250电影的数据采集与可视化分析（scrapy+mysql+matplotlib）

news 2026/3/30 21:05:56

文章目录

  • 豆瓣Top250电影的数据采集与可视化分析（scrapy+mysql+matplotlib）
    • 写在前面
    • 数据采集（Visual Studio Code+Navicat）
      • 1.观察网页信息
      • 2.编写Scrapy代码（Visual Studio Code）
        • 2.1 创建Scrapy项目`doubanProject`
        • 2.2 创建爬虫脚本`douban.py`
        • 2.3 修改`douban.py`的代码
        • 2.4 修改`items.py`的代码
        • 2.5 修改`pipelines.py`的代码
          • 1. `MySQLPipeline` 类
          • 2. `ExcelPipeline` 类
        • 2.6 修改`settings.py`的代码
          • 1. 基本设置
          • 2. 用户代理和遵守规则
          • 3. 请求控制
          • 4. Cookie 设置
          • 5. 数据存储管道
          • 6. MySQL 配置
      • 3.创建数据库（Navicat）
        • 3.1 创建数据库`douban`
        • 3.2 创建表`movies`
      • 4.启动项目
      • 5.查看采集的数据
    • 数据分析（Anaconda/Jupyter Notebook）
      • 1.导入数据
      • 2.数据预处理
      • 3.可视化分析
        • 3.1 可视化分析电影的类型
        • 3.2 可视化分析电影的年份
        • 3.3 可视化分析电影的评分
        • 3.4 可视化分析电影的国家
    • 完整项目
    • 写在后面

豆瓣Top250电影的数据采集与可视化分析（scrapy+mysql+matplotlib）

  • Scrapy 官方文档：https://docs.scrapy.org/en/latest/

  • 豆瓣电影Top250官网：https://movie.douban.com/top250

写在前面

实验目的：实现豆瓣电影Top250数据采集与可视化分析。

电脑系统：Windows

使用软件：Visual Studio Code、Navicat、Anaconda（Jupyter Notebook）

Python版本：python 3.9.12

技术需求：scrapy、openpyxl、pymysql、sqlalc

相关文章：

豆瓣Top250电影的数据采集与可视化分析（scrapy+mysql+matplotlib）

文章目录 豆瓣Top250电影的数据采集与可视化分析（scrapy+mysql+matplotlib）写在前面数据采集（Visual Studio Code+Navicat）1.观察网页信息2.编写Scrapy代码（Visual Studio Code）2.1 创建Scrapy项目`doubanProject`2.2 创建爬虫脚本`douban.py`2.3 修改`douban.py`的代码2…...

编程日记 2025/1/25 22:27:02

MySQL索引——让查询飞起来

文章目录 索引是什么？？硬件理解MySQL与存储 MySQL 与磁盘交互基本单位索引的理解B vs B聚簇索引 VS 非聚簇索引索引操作创建主键索引唯一索引的创建普通索引的创建全文索引的创建查询索引删除索引 在现代数据库应用中，查询性能是决定系统响应…...

编程日记 2025/1/25 22:23:58

Springboot集成Elasticsearch8.0（ES）版本，采用JAVA Client方式进行连接和实现CRUD操作

本文章介绍了 springboot t集成Elasticsearch8.0（ES）版本，如何通过 AVA Client方式进行连接和实现CRUD操作 在ES7.15版本之后，ES官方将高级客户端 RestHighLevelClient标记为弃用状态。同时推出了全新的 Java API客户端 Elasticsearch Java API Client，该客户端也将在 Ela…...

编程日记 2025/1/25 22:22:57

【Linux】APT 密钥管理迁移指南：有效解决 apt-key 弃用警告

引言 随着 Debian 11 和 Ubuntu 22.04 版本的推出，APT 的密钥管理方式发生了重大的变化。apt-key 命令被正式弃用，新的密钥管理机制要求使用 /etc/apt/keyrings/ 或 /etc/apt/trusted.gpg.d/ 来存储和管理密钥。这一变化对管理员和普通用户来说至关重要…...

编程日记 2025/1/25 22:21:56

洛谷P1143 进制转换

题目链接&#xff1a;P1143 进制转换 - 洛谷 | 计算机科学教育新生态 题目难度&#xff1a;普及— 解题思路&#xff1a;本题先将输入的数转为10进制&#xff0c;然后取模&#xff0c;最后倒着输出就好了&#xff0c;最后直接上代码 #include<bits/stdc.h> using namespa…...

编程日记 2025/1/25 22:17:51

99.12 金融难点通俗解释：毛利率

目录 0. 承前1. 简述2. 比喻&#xff1a;冰淇淋店赚钱2.1 第一步&#xff1a;准备材料2.2 第二步&#xff1a;卖冰淇淋2.3 第三步&#xff1a;计算毛利率 3. 生活中的例子3.1 好的毛利率3.2 一般的毛利率3.3 差的毛利率 4. 小朋友要注意4.1 毛利率高不一定好4.2 毛利率低不一定…...

编程日记 2025/1/25 22:10:44

HUMANITY’S LAST EXAM (HLE) 综述：人工智能领域的“最终考试”

论文地址&#xff1a;Humanity’s Last Exam 1. 背景与动机 随着大型语言模型&#xff08;LLMs&#xff09;能力的飞速发展&#xff0c;其在数学、编程、生物等领域的任务表现已超越人类。为了系统地衡量这些能力&#xff0c;LLMs 需要接受基准测试&#xff08;Benchmarks&…...

编程日记 2025/1/25 22:03:35

C++从入门到实战（二）C++命名空间

C从入门到实战&#xff08;二&#xff09;C命名空间 前言一、C的第一个程序二、命名空间&#xff08;一&#xff09;为什么需要命名空间&#xff08;二&#xff09;定义命名空间&#xff08;三&#xff09;使用命名空间1.通过命名空间限定符&#xff1a;2.使用 using 声明&…...

编程日记 2025/1/25 22:02:34

C# OpenCV机器视觉:实现农作物病害检测

在酷热难耐的夏日&#xff0c;阳光似火舌般舔舐大地。阿强惬意地躺在老家院子摇椅上&#xff0c;哼着小曲&#xff0c;手边放着一碗冰镇西瓜&#xff0c;头顶大槐树宛如巨大遮阳伞&#xff0c;洒下斑驳阴凉。他本想趁假期回老家放松&#xff0c;远离城市喧嚣与代码 “纠缠”。 …...

编程日记 2025/1/25 22:00:32

开源软件协议介绍

一、可以闭源使用/不具传染性的协议 允许商业使用和分发 1、BSD&#xff1a;详细介绍 2、LGPL许可证&#xff1a;详细介绍 3、MPL2.0&#xff1a;详细介绍 二、具有传染性/使用后需要开源自身软件的协议 不建议商业使用 1、GPL许可证&#xff1a;详细介绍...

编程日记 2025/1/25 21:57:28

CLion开发Qt桌面

IDE&#xff1a;CLion Qt Qt版本&#xff1a;5.12 学习正点原子的嵌入式Linux开发板时&#xff0c;使用Qt Creator写代码不是很方便&#xff0c;遂尝试使用CLion搭建Qt开发环境。 一、CLion的Qt环境搭建 1&#xff0c;配置工具链 找到Qt的安装目录&#xff0c;此处为E:\Tools\…...

编程日记 2025/1/25 21:53:24

09_异步加载_单例模式_常量类配置_不可销毁

1.首先在 资源加载服务层ResSvc.cs中添加 自定义异步加载函数 using UnityEngine; using UnityEngine.SceneManagement; //异步加载 命名空间 //功能 : 资源加载服务 public class ResSvc : MonoBehaviour{public void InitSvc(){Debug.Log("Init ResSvc...");}//自定…...

编程日记 2025/1/25 21:52:24

士的宁（strychnine）的生物合成-文献精读104

Biosynthesis of strychnine 士的宁&#xff08;strychnine&#xff09; 又名 番木鳖碱 的生物合成 摘要 士的宁&#xff08;番木鳖碱&#xff09;是一种天然产物&#xff0c;通过分离、结构阐明和合成努力&#xff0c;塑造了有机化学领域。目前&#xff0c;士的宁因其强大的…...

编程日记 2025/1/25 21:50:19

【开源免费】基于Vue和SpringBoot的常规应急物资管理系统（附论文）

本文项目编号 T 159 &#xff0c;文末自助获取源码 \color{red}{T159&#xff0c;文末自助获取源码} T159&#xff0c;文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…...

编程日记 2025/1/25 21:49:18

（Java版本）基于JAVA的网络通讯系统设计与实现-毕业设计

源码 论文 下载地址&#xff1a; ​​​​c​​​​​​c基于JAVA的网络通讯系统设计与实现(源码系统论文&#xff09;https://download.csdn.net/download/weixin_39682092/90299782https://download.csdn.net/download/weixin_39682092/90299782 第1章 绪论 1.1 课题选择的…...

编程日记 2025/1/25 21:48:17

ray.rllib 入门实践-2：配置算法

前言&#xff1a; ray.rllib的算法配置方式有多种&#xff0c;网上的不同教程各不相同&#xff0c;有的互不兼容&#xff0c;本文汇总罗列了多种算法配置方式&#xff0c;给出推荐&#xff0c;并在最后给出可运行代码。 四种配置方式 方法1 import os from ray.rllib.algori…...

编程日记 2025/1/25 21:40:09

2025-01学习笔记

1.SpEL 第一次知道它的全称 Spring Expression Language&#xff08;SpEL&#xff09; Value("${my.property}") private String myProperty; Value("#{2 * 3}") private int computedValue; 2.逃逸分析 逃逸分析&#xff1a;当一个对象在方法中被定…...

编程日记 2025/1/25 21:39:08

多线程执行大批量数据查询

// 创建一个固定大小的线程池ExecutorService executorService Executors.newFixedThreadPool(5);// 创建多个查询任务List<Callable<List<ShopCompareBase>>> tasks new ArrayList<>();//查询门店 切割,分成十份List<List<String>> sho…...

编程日记 2025/1/25 21:36:04

ChatGPT高效处理图片技巧使用详解

ChatGPT&#xff0c;作为OpenAI开发的预训练语言模型&#xff0c;主要用于生成自然语言文本的任务。然而&#xff0c;通过一些技巧和策略&#xff0c;我们可以将ChatGPT与图像处理模型结合&#xff0c;实现一定程度上的图像优化和处理。本文将详细介绍如何使用ChatGPT高效处理图…...

编程日记 2025/1/25 21:25:52

leetcode——相交链表（java）

给你两个单链表的头节点 headA 和 headB &#xff0c;请你找出并返回两个单链表相交的起始节点。如果两个链表不存在相交节点&#xff0c;返回 null 。 图示两个链表在节点 c1 开始相交&#xff1a; 题目数据 保证 整个链式结构中不存在环。 注意&#xff0c;函数返回结果后&…...

编程日记 2025/1/25 21:22:49

SEO_详解SEO优化的基本原理与核心策略介绍

<h2>SEO优化的基本原理&#xff1a;为什么SEO对网站流量至关重要</h2> <p>SEO优化&#xff0c;即搜索引擎优化&#xff0c;是指通过优化网站结构、内容和外部链接等多个方面&#xff0c;提高网站在搜索引擎结果页面上的排名&#xff0c;从而吸引更多自然流量…...

编程新知 2026/3/30 20:36:39

从实例出发：宏平均、微平均与权重平均的计算与应用解析

1. 从混淆矩阵说起&#xff1a;理解评估指标的基础 在机器学习分类任务中&#xff0c;我们经常需要评估模型的性能。这时候就离不开混淆矩阵这个基础工具。假设我们有一个二分类问题&#xff0c;类别分别是"是"和"否"。混淆矩阵会告诉我们模型预测的正确和…...

编程新知 2026/3/30 20:00:23

COMSOL声子晶体复能带模型与PDE模块：声学黑洞复能带模型及实虚能带绘制与二维结构分析

comsol声子晶体复能带模型 PDE模块 声学黑洞 复能带模型 实能带与虚能带的绘制 参考论文 前两个是论文图&#xff0c;后四个是模型及结果图。 可根据模型设置&#xff0c;进行其他二维结构的分析复能带这玩意儿搞声子晶体的肯定不陌生&#xff0c;但用COMSOL PDE模块手搓模型…...

编程新知 2026/3/30 19:50:14

VMware环境部，如何确认VM是安装成功

查看虚拟网卡安装完成VM&#xff0c;创建好虚拟机之后&#xff0c;在主页面&#xff0c;选择编辑--虚拟网络编辑器--查看子网地址查看windows网络信息打开windows命令行窗口&#xff0c;输入ipconfig查看是否 有VMnet1 和 VM net8&#xff0c;且IPV4地址跟VM平台上的子网地址前…...

编程新知 2026/3/30 19:11:11

使用Python运行VirtualLab Fusion光学仿真

摘要 VirtualLab Fusion允许Python外部访问其建模技术、求解器和结果。这个用例介绍了一种使用路径变量和Visual Studio代码将Python连接到VirtualLab Fusion的简单方法。在本示例中&#xff0c;我们将演示如何使用Python脚本运行光学仿真&#xff0c;以向用户简要概述这种跨…...

编程新知 2026/3/30 19:01:01

Linux内核链表安全遍历：list_for_each_entry_safe 深度解析

1. 为什么需要安全的链表遍历 在Linux内核开发中&#xff0c;链表是最基础也是最常用的数据结构之一。内核开发者经常需要遍历链表来访问或操作其中的节点。但有一个场景特别棘手&#xff1a;当你需要在遍历过程中删除当前节点时&#xff0c;普通的遍历方法会导致链表断裂甚至系…...

编程新知 2026/3/30 18:48:54

Apache Doris 4.0.4：解锁数据管理新境界

Apache Doris 4.0 作为重要里程碑发布后&#xff0c;社区通过 4.0.1 至 4.0.4 版本快速演进。如今 4.0.4 正式登场&#xff0c;功能更稳定可靠&#xff0c;引领其从实时分析迈向数据管理领域。面向 AI 工作负载的混合搜索能力检索成现代数据平台核心负载&#xff0c;Apache Dor…...

编程新知 2026/3/30 18:38:50

如何快速实现Obsidian插件本地化：obsidian-i18n完整实践指南

如何快速实现Obsidian插件本地化&#xff1a;obsidian-i18n完整实践指南 【免费下载链接】obsidian-i18n 项目地址: https://gitcode.com/gh_mirrors/ob/obsidian-i18n 你是否曾因Obsidian插件全是英文界面而苦恼&#xff1f;作为中文用户&#xff0c;面对"Backli…...

编程新知 2026/3/30 17:52:17

解密Qwen2VLImageProcessor：从RGB转换到时空补丁的完整预处理流水线

解密Qwen2VLImageProcessor&#xff1a;从RGB转换到时空补丁的完整预处理流水线 在计算机视觉与多模态模型融合的前沿领域&#xff0c;图像预处理流水线的设计质量直接影响着模型性能的天花板。Qwen2VLImageProcessor作为专为Qwen2-VL模型设计的预处理引擎&#xff0c;其独特之…...

编程新知 2026/3/30 15:54:55

用Qwen3-VL-30B做智能助手：上传文档图片，自动提取关键信息

用Qwen3-VL-30B做智能助手&#xff1a;上传文档图片&#xff0c;自动提取关键信息 1. 为什么需要智能文档处理助手 每天我们都会遇到大量需要处理的文档和图片&#xff1a;合同、发票、报告、表格、名片...手动输入这些信息不仅耗时耗力&#xff0c;还容易出错。传统OCR技术虽…...

编程新知 2026/3/30 15:20:44