当前位置： 首页 > news >正文

Python爬取与可视化-豆瓣电影数据

news 2026/3/29 23:05:59

引言

在数据科学的学习过程中，数据获取与数据可视化是两项重要的技能。本文将展示如何通过Python爬取豆瓣电影Top250的电影数据，并将这些数据存储到数据库中，随后进行数据分析和可视化展示。这个项目涵盖了从数据抓取、存储到数据可视化的整个过程，帮助大家理解数据科学项目的全流程。

image-20240607153947167

环境配置与准备工作

在开始之前，我们需要确保安装了一些必要的库：

  • urllib：用于发送HTTP请求和获取网页数据
  • BeautifulSoup：用于解析HTML数据
  • pymysql：用于连接和操作MySQL数据库
  • time 和 random：用于添加延迟，防止被目标网站屏蔽
  • pandas：用于数据操作和分析
  • matplotlib 和 seaborn：用于数据可视化

数据爬取

我们将通过Python脚本爬取豆瓣电影Top250的数据。豆瓣Top250电影的页面按25部电影分页展示，我们将遍历这些页面获取电影信息。以下是爬取电影数据的伪代码描述：

  1. 设置数据库连接配置
  2. 定义豆瓣电影URL模板
  3. 创建函数 get_movie_data(start) 用于爬取指定页面的数据
    a. 构造请求URL并发送请求
    b. 解析返回的HTML数据
    c. 提取电影的标题、评分、URL、描述和评论数量等信息
  4. 创建函数 save_to_db(movies) 用于将电影数据保存到数据库
  5. 遍历所有页面，获取电影数据并保存到数据库
  6. 关闭数据库连接

image-20240607153823702

数据分析与可视化

完成数据爬取后，我们将数据从数据库中读取出来，并进行分析和可视化展示。

做出以下图表用来分析：

电影评分分布图：显示了电影评分的分布情况，评分主要集中在8.0到9.0之间。
评分与评论数量关系图：展示了评分与评论数量之间的关系，评论数量较多的电影评分也较高。
电影评分箱线图：展示了电影评分的箱线图，可以看出大部分电影的评分都很高，几乎没有低评分的电影。
热门电影前十排名：展示了评分最高的前十部电影。
评论数量分布图：显示了评论数量的分布情况，大部分电影的评论数量集中在几千到几万之间。
评分与评论数量双轴图：展示了每部电影的评分和评论数量的关系，方便对比。

结果展示

通过这个项目，我们从豆瓣电影网站爬取了Top250的电影数据，并对这些数据进行了可视化展示。我们可以看到，豆瓣电影Top250的评分普遍较高，评分与评论数量之间存在一定的正相关关系。这种数据分析和可视化方法不仅可以应用于电影数据，还可以扩展到其他领域的数据分析中。希望这篇文章对大家有所帮助！

源码👇

https://yan-sheng-li.github.io/project/Reptiles_douban.html

相关文章：

Python爬取与可视化-豆瓣电影数据

引言 在数据科学的学习过程中，数据获取与数据可视化是两项重要的技能。本文将展示如何通过Python爬取豆瓣电影Top250的电影数据，并将这些数据存储到数据库中，随后进行数据分析和可视化展示。这个项目涵盖了从数据抓取、存储到数据可视化的整个…...

编程日记 2024/6/16 1:25:05

【背包题】oj题库

目录 1282 - 简单背包问题 1780 - 采灵芝 1888 - 多重背包&#xff08;1&#xff09;​编辑 1891 - 开心的金明 2073 - 码头的集装箱 1905 - 混合背包 1282 - 简单背包问题 #include <bits/stdc.h> using namespace std; //二维数组:dp[i][j]max(dp[i-1][j],v[i]dp[…...

编程日记 2024/6/16 1:23:03

Web前端弱势因素：深入探讨与挑战解析

Web前端弱势因素&#xff1a;深入探讨与挑战解析 在快速发展的Web前端领域&#xff0c;尽管技术日新月异&#xff0c;但仍存在一些固有的弱势因素。这些因素不仅影响了开发效率和用户体验&#xff0c;也带来了诸多挑战。本文将深入探讨Web前端的弱势因素&#xff0c;并从四个方…...

编程日记 2024/6/16 1:22:02

元素在超出当前界面的下拉列表中如何定位

有时我们会遇到一种情况是&#xff0c;当我们找一个视频列表中的视频&#xff0c;在页面的最底层&#xff0c;此时selenium 无法定位到这个元素&#xff0c;因为 selenium只能定位页面上显示出来内容的元素&#xff0c;需要通过下拉框把界面拉到该元素所在的位置&#xff0c;再…...

编程日记 2024/6/16 1:17:54

Vscode中使用make命令

前言 需要注意&#xff0c;如下操作需要进行网络代理&#xff0c;否则会出现安装失败的情况 安装 第一步 — 安装MingGW &#xff08;1&#xff09;进入官网下载 &#xff08;2&#xff09;下载完成之后&#xff0c;双击exe文件 &#xff08;3&#xff09;点击Install &#x…...

编程日记 2024/6/16 1:16:53

配置完eslint没有用？

当你使用 npx eslint --init 生成配置文件后 你也配置好了.prettierrc 当你在代码写一点小问题的时候 发现eslint没有进行检查 原因是你生成的 .eslintrc.js中没有加上这个配置 extends: [.....plugin:prettier/recommended],加上以后重启vscode你会发现...

编程日记 2024/6/16 1:15:52

[Nacos]No spring.config.import property has been defined

在学习 Spring Cloud Alibaba &#xff0c;Nacos组件&#xff0c;创建一个cloudalibaba-config-nacos-client&#xff0c;加载多配置集时遇到问题 配置了 bootstrap.yml 后启动项目报错&#xff1a; 是因为在springcloud 2020.0.2版本中把bootstrap的相关依赖从spring-cloud-s…...

编程日记 2024/6/16 1:14:51

【操作与配置】Pytorch环境搭建

安装显卡驱动 显卡驱动是一种软件程序&#xff0c;用于控制显卡硬件与操作系统之间的通信和交互。显卡驱动负责向操作系统提供有关显卡硬件的信息&#xff0c;以及使操作系统能够正确地控制和管理显卡的各种功能和性能。显卡驱动还包含了针对不同应用程序和游戏的优化&#xff…...

编程日记 2024/6/16 1:12:48

判断QT程序是否重复运行

打开exe&#xff0c;再次打开进行提示。 main.cpp添加&#xff1a; #include "QtFilePreview.h" #include <QtWidgets/QApplication> #include <windows.h> #include <qmessagebox.h> #pragma execution_character_set("utf-8")bool Ch…...

编程日记 2024/6/16 1:11:47

利用Axios封装及泛型实现定制化HTTP请求处理

本案例旨在教授如何使用Axios库结合TypeScript泛型进行HTTP请求的高级封装&#xff0c;以提升代码的可复用性和类型安全性。我们将通过一个具体的示例&#xff0c;学习如何创建一个通用的请求函数&#xff0c;它能够适应不同类型的API响应&#xff0c;并在请求前后加入自定义逻…...

编程日记 2024/6/16 1:09:43

RN6752V1 高性能AHD转MIPIDVPBT656BT601芯片方案，目前适用于车载方案居多

RN6752V1描述&#xff1a; RN6752V1是一种模拟高清晰度&#xff08;模拟高清&#xff09;视频解码器IC&#xff0c;专为汽车应用而设计。它集成了所有必要的功能块&#xff1a; AFE&#xff0c;PLL&#xff0c;解码逻辑&#xff0c;MIPI和I2C接口等&#xff0c;在一个小的5mm …...

编程日记 2024/6/16 1:08:41

Rust 基金会的商标政策更新引发社区争议

Rust 基金会最近更新了其商标政策&#xff0c;引发了社区内的一些争议。 Rust 是一种高性能系统编程语言&#xff0c;拥有庞大的开发者社区。Rust 基金会成立于 2020 年&#xff0c;旨在支持和推动 Rust 语言的发展。该基金会负责管理 Rust 的商标&#xff0c;并制定了商标使用…...

编程日记 2024/6/16 1:06:40

Java Opencv识别图片上的虫子

最近有个需求&#xff0c;希望识别图片上的虫子&#xff0c;对于java来说&#xff0c;图像识别不是很好做。在网上也搜索了很多&#xff0c;很多的代码都是不完整&#xff0c;或者下载下载报错&#xff0c;有的写的很长看不懂。所以自己试着用java的opencv写了一段代码。发现识…...

编程日记 2024/6/16 1:03:37

微型操作系统内核源码详解系列五（1）：arm cortex m3架构

系列一&#xff1a;微型操作系统内核源码详解系列一&#xff1a;rtos内核源码概论篇&#xff08;以freertos为例&#xff09;-CSDN博客 系列二&#xff1a;微型操作系统内核源码详解系列二&#xff1a;数据结构和对象篇&#xff08;以freertos为例&#xff09;-CSDN博客 系列…...

编程日记 2024/6/16 0:59:32

值传递和址传递

值传递 上面的代码是想要交换x&#xff0c;y的值&#xff0c;把x&#xff0c;y传递给swap函数之后&#xff0c;执行下面的操作&#xff1a; 在swap中a和b交换了&#xff0c;但是和x&#xff0c;y没有关系&#xff0c;所以x&#xff0c;y在main中不会变。 址传递 下面再看把x…...

编程日记 2024/6/16 0:58:31

【three.js】自定义物体形状BufferGeometry

目录 一、认识缓冲类型几何体BufferGeometry 二、将各个顶点连线 一、认识缓冲类型几何体BufferGeometry threejs的长方体BoxGeometry、球体SphereGeometry等几何体都是基于BoxGeometry类构建的，BufferGeometry是一个没有任何形状的空几何体，你可以通过BufferGeometry自定…...

编程日记 2024/6/16 0:56:30

Mac 使用 Homebrew 安装 Python3

在macOS系统中&#xff0c;使用Homebrew安装Python3并进行环境配置的步骤如下&#xff1a; 打开终端。 运行以下命令安装Python3&#xff1a; brew install python3 安装完成后&#xff0c;可以通过以下命令检查Python3的版本&#xff1a; python3 --version 为了确保终端…...

编程日记 2024/6/16 0:55:28

汽车行驶中是怎么保障轴瓦安全的？

汽车轴瓦是一种用于减少摩擦和支撑转动部件的关键零部件&#xff0c;通常用于发动机的曲轴、凸轮轴等转动部件上。主要作用是减少转动部件之间的摩擦&#xff0c;支撑和保护曲轴、凸轮轴等旋转部件&#xff0c;确保它们在高速旋转时的稳定性和耐用性。 在汽车轴瓦加工过程中&am…...

编程日记 2024/6/16 0:51:25

洗地机哪款好？洗地机十大名牌排行榜

随着科技的发展&#xff0c;各种家居清洁工具层出不穷&#xff0c;为我们的生活带来了诸多便利。在众多清洁工具中&#xff0c;洗地机的清洁效果更受大家喜爱&#xff0c;它能够完美解决了扫地机无法做到的干湿垃圾“一遍清洁”效果&#xff0c;而且几乎能解决日常生活中所有的…...

编程日记 2024/6/16 0:50:24

spark mllib 特征学习笔记 （二）

当然&#xff0c;请继续介绍其他特征处理方法的公式、适用场景和案例&#xff1a; 10. StringIndexer 公式&#xff1a; 将字符串类型的标签转换为数值索引&#xff1a; StringIndexer ( x ) { 0 , 1 , 2 , … , N − 1 } \text{StringIndexer}(x) \{0, 1, 2, \ldots, N-1…...

编程日记 2024/6/16 0:47:20

Driver Store Explorer：Windows驱动管理的终极解决方案

Driver Store Explorer&#xff1a;Windows驱动管理的终极解决方案 【免费下载链接】DriverStoreExplorer Driver Store Explorer [RAPR] 项目地址: https://gitcode.com/gh_mirrors/dr/DriverStoreExplorer Driver Store Explorer&#xff08;简称RAPR&#xff09;是一…...

编程新知 2026/3/29 23:05:07

掌握AI落地三件套：微调、Agent、部署，让你薪资直冲20K+！

文章核心内容是介绍AI行业高薪技能&#xff0c;即掌握大模型落地的“三件套”&#xff1a;微调、Agent、部署。微调是将通用模型变为专属专家的关键&#xff0c;Agent开发让模型能自动解决问题&#xff0c;部署则是基础但重要的能力。文章还强调了传统AI基础的重要性&#xff0…...

编程新知 2026/3/29 23:01:06

QChart实战：从零构建动态数据波形图（含完整代码与注释）

1. 环境准备与基础配置 在开始构建动态波形图之前&#xff0c;我们需要先搭建好开发环境。这里假设你已经安装了Qt Creator&#xff0c;我推荐使用5.15或更高版本&#xff0c;因为这个版本对QChart的支持最完善。如果你还没安装&#xff0c;可以直接去Qt官网下载开源版本。 首…...

编程新知 2026/3/29 22:51:01

foobox-cn：让foobar2000从工具变身艺术品的终极美化方案

foobox-cn&#xff1a;让foobar2000从工具变身艺术品的终极美化方案 【免费下载链接】foobox-cn DUI 配置 for foobar2000 项目地址: https://gitcode.com/GitHub_Trending/fo/foobox-cn 你是否还在忍受foobar2000那过于朴素的默认界面&#xff1f;是否觉得功能强大的播…...

编程新知 2026/3/29 22:49:00

给硬件工程师的PCIe协议栈拆解：从FPGA IP核视角看三层协议如何协同工作

给硬件工程师的PCIe协议栈拆解&#xff1a;从FPGA IP核视角看三层协议如何协同工作 当你在Xilinx UltraScale或Intel Stratix 10 FPGA中集成PCIe硬核IP时&#xff0c;是否曾好奇过那个配置向导里勾选的"Enable Advanced Mode"究竟在底层做了什么&#xff1f;物理层的…...

编程新知 2026/3/29 21:58:36

从国赛真题到实战演练：蓝桥杯CTF网络安全竞赛核心题型深度剖析

1. 逆向工程实战&#xff1a;从加密程序到Flag还原 去年蓝桥杯CTF国赛的第一道逆向题让不少选手印象深刻。题目给出一个名为encodefile的可执行程序和一个加密后的数据文件enc.dat&#xff0c;要求还原原始flag内容。这类题型在CTF中非常典型&#xff0c;主要考察选手对程序逻辑…...

编程新知 2026/3/29 21:44:30

用过才敢说！盘点2026年备受喜爱的的AI论文平台

一天写完毕业论文在2026年已不再是天方夜谭。2026年最炸裂、实测能大幅提速的AI论文平台&#xff0c;覆盖选题构思、文献整理、内容生成、降重润色等核心场景&#xff0c;帮你高效搞定论文&#xff0c;告别熬夜赶稿&#xff01; 一、全流程王者&#xff1a;一站式搞定论文全链路…...

编程新知 2026/3/29 20:06:00

如何提升网盘下载效率：直链解析工具使用指南

如何提升网盘下载效率&#xff1a;直链解析工具使用指南 【免费下载链接】Online-disk-direct-link-download-assistant 可以获取网盘文件真实下载地址。基于【网盘直链下载助手】修改&#xff08;改自6.1.4版本&#xff09; &#xff0c;自用&#xff0c;去推广&#xff0c;无…...

编程新知 2026/3/29 19:55:46

MiroFish群体智能引擎部署与配置全指南

MiroFish群体智能引擎部署与配置全指南 【免费下载链接】MiroFish A Simple and Universal Swarm Intelligence Engine, Predicting Anything. 简洁通用的群体智能引擎&#xff0c;预测万物 项目地址: https://gitcode.com/GitHub_Trending/mi/MiroFish MiroFish作为简洁…...

编程新知 2026/3/29 19:43:44

Qwen3-14B私有化部署成本分析：一张显卡就能跑，中小企业也玩得转

Qwen3-14B私有化部署成本分析&#xff1a;一张显卡就能跑&#xff0c;中小企业也玩得转 1. 为什么中小企业需要关注Qwen3-14B 在AI技术快速发展的今天&#xff0c;大型语言模型已成为企业数字化转型的重要工具。然而&#xff0c;高昂的部署成本往往让中小企业望而却步。Qwen3…...

编程新知 2026/3/29 19:07:34