当前位置： 首页 > news >正文

Python爬取城市空气质量数据

news 2026/2/11 2:52:05

Python爬取城市空气质量数据

  • 一、思路分析
    • 1、寻找数据接口
    • 2、发送请求
    • 3、解析数据
    • 4、保存数据
  • 二、完整代码

一、思路分析

目标数据所在的网站是天气后报网站，网址为：www.tianqihoubao.com，需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况：
在这里插入图片描述

1、寻找数据接口

在天气后报网站主页找到空气质量菜单项并点击，找到湖北武汉市并点击，下拉找到时间列表，点击一个月份时间（以2024年3月为例），进入到如下图所示页面：
在这里插入图片描述
打开浏览器开发者工具（按F12键或者在页面右键然后点击检查）进行抓包，按F5刷新页面，发现开发者工具Network选项卡下抓到了很多数据包，如图所示：
在这里插入图片描述
查看每个数据包中的Response，发现我们所需要的数据在http://www.tianqihoubao.com/aqi/wuhan-202403.html数据包中。

2、发送请求

第二步就是要模拟浏览器向服务器发送请

相关文章：

Python爬取城市空气质量数据

Python爬取城市空气质量数据 一、思路分析1、寻找数据接口2、发送请求3、解析数据4、保存数据二、完整代码一、思路分析 目标数据所在的网站是天气后报网站，网址为：www.tianqihoubao.com，需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况： 1、寻找数据…...

编程日记 2024/6/8 2:38:01

【MyBatisPlus条件构造器】

文章目录 什么是条件构造器？使用步骤1. 引入 MyBatisPlus 依赖2. 创建实体类3. 使用条件构造器查询4. 执行查询 示例代码 什么是条件构造器？ 条件构造器是 MyBatisPlus 提供的一种灵活的查询条件设置方式，它可以帮助开发者构建复杂的查询条件…...

编程日记 2024/6/8 2:37:00

容器多机部署eureka及相关集群服务出现 Request execution failed with message: AuthScheme is null

预期部署方案：两个eureka三个相关应用 注册时应用出现：Request execution failed with message: Cannot invoke “Object.getClass()” because “authScheme” is null，一开始认为未正确传递eureka配置的账户密码，例：…...

编程日记 2024/6/8 2:35:59

Qt Graphics View Framework 使用教程

欢迎来到 Qt Graphics View Framework 的世界！本教程将引导您了解这一强大工具的基础知识，并教您如何开始使用它来创建丰富的 2D 图形界面。无论您是编程新手还是经验丰富的开发者，本教程都将帮助您快速上手。 基本概念 Qt Graphics View F…...

编程日记 2024/6/8 2:34:57

【调试笔记-20240606-Linux-为 OpenWrt 的 nginx 服务器添加Shell CGI 支持】

调试笔记-系列文章目录 调试笔记-20240606-Linux-为 OpenWrt 的 nginx 服务器添加Shell CGI 支持 文章目录 调试笔记-系列文章目录调试笔记-20240606-Linux-为 OpenWrt 的 nginx 服务器添加Shell CGI 支持 前言一、调试环境操作系统：Windows 10 专业版调试环境调试…...

编程日记 2024/6/8 2:33:55

flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇

简介 作为一种特定领域语言，SQL 的设计初衷是隐藏底层数据处理的复杂性，让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性，在实现层面通常需引入状态后端 配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配…...

编程日记 2024/6/8 2:28:51

数据结构：顺序串

目录 1.顺序串是什么？ 2.顺序串常见操作和应用 3.包含头文件 4.结点设计 5.接口函数定义 6.接口函数实现 7.顺序串测试案列 顺序串是什么？ 顺序串，用于存储和操作字符串。在顺序串中，字符串被存储在一个连续的内存块中&#xff0c…...

编程日记 2024/6/8 2:27:51

掌握复选框（Checkbox）的奥秘：全选与反选功能实现

前言： 在网页设计中，复选框（Checkbox）是一种常见且实用的交互元素，它允许用户从一系列选项中选择多个项。无论是电子商务网站上的商品筛选，还是在线表单的数据收集，复选框都发挥着重要作用。然…...

编程日记 2024/6/8 2:23:46

一篇文章带你搞懂C++引用（建议收藏）

引用 6.1 引用概念 引用不是新定义一个变量，而是给已存在变量取了一个别名，编译器不会为引用变量开辟内存空间，它和它引用的变量共用同一块内存空间。 比如：李逵，在家称为"铁牛"，江湖上人称&quo…...

编程日记 2024/6/8 2:22:45

查询SQL：文章浏览1

问题描述 请查询出所有浏览过自己文章的作者 结果按照 id 升序排列。 查询结果的格式如下所示： 题目分析： 这题主要考察排序asc（升序）、desc（降序）以及distinct字段。 解决方案： select DIS…...

编程日记 2024/6/8 2:19:42

android 在onCreate方法中获得view的宽高

view在绘制完成后才会有自己的宽高，所以在onCreate中要获得view的宽高可以通过以下4中方法： 1、ViewTreeObserver：监听界面绘制事件，在layout时调用，使用完毕后记得removeListener 2、view.post，因为runn…...

编程日记 2024/6/8 2:15:39

SOA主要协议和规范

Web服务作为实现SOA中服务的最主要手段。首先来了解Web Service相关的标准。它们大多以“WS-”作为名字的前缀，所以统称“WS-*”。Web服务最基本的协议包括UDDI、WSDL和SOAP，通过它们，可以提供直接而又简单的Web Service支持，如图…...

编程日记 2024/6/8 2:13:36

30、matlab现代滤波：维纳滤波/LMS算法滤波/小波变换滤波

1、信号1和信号2的维纳滤波 实现代码 N 2000; %采样点数 Fs 2000; %采样频率 t 0:1 / Fs:1 - 1 / Fs; %时间序列 Signal1 sin(2*pi*20* t) sin(2*pi*40* t) sin(2*pi*60* t); Signal2[2*ones(1,50),zeros(1,50),-1*ones(1,100),zeros(1,50),-2*ones(1,50),zeros(1,50),1…...

编程日记 2024/6/8 2:10:33

HTML5 视频 Vedio 标签详解

HTML5 引入了 <video> 标签&#xff0c;允许开发者在网页中直接嵌入视频文件&#xff0c;而不需要依赖第三方插件。本文将全面介绍 <video> 标签的各种属性&#xff0c;并通过实例代码详细说明其用法。 一、基础用法 1. 基本结构 HTML5 中使用 <video> 标…...

编程日记 2024/6/8 2:09:32

三十五篇：数字化转型的引擎：赋能企业的ERP系统全景

数字化转型的引擎&#xff1a;赋能企业的ERP系统全景 1. 引言 在这个快速变化的数字时代&#xff0c;现代企业面临着前所未有的挑战和机遇。企业资源计划&#xff08;ERP&#xff09;系统&#xff0c;作为数字化转型的核心&#xff0c;扮演着至关重要的角色。它不仅是企业运营…...

编程日记 2024/6/8 2:08:31

利用ArcGIS对长江三角洲地区的gdp水平进行聚类

1、导入矢量图、数据 长三角地区矢量图 长三角地区矢量图对应数据 2、连接 3、设置属性将人均gdp数据导入 4、设置标注和图例 选择布局视图 5、聚类 2020年人均gdp地区聚类 6、2005~2020年各地区人均gdp可视化及聚类汇总 &#xff08;1&#xff09;2005~2020可视化 2005 …...

编程日记 2024/6/8 2:07:29

释放视频潜力：Topaz Video AI for mac/win 一款全新的视频增强与修复利器

在数字时代&#xff0c;视频已经成为我们记录生活、分享经历的重要方式。然而&#xff0c;有时候我们所拍摄的视频可能并不完美&#xff0c;可能存在模糊、噪点、抖动等问题。这时候&#xff0c;就需要一款强大的视频增强和修复工具来帮助我们提升视频质量&#xff0c;让它们更…...

编程日记 2024/6/8 2:06:28

MongoDB 正则表达式详解：高效数据查询与处理技巧

MongoDB 的正则表达式&#xff08;Regular Expression&#xff09;功能允许在查询中进行模式匹配和文本搜索&#xff0c;为用户提供了强大的灵活性。 基本语法 MongoDB 中使用正则表达式时&#xff0c;通常是在查询语句中使用 $regex 操作符。基本语法如下&#xff1a; { &l…...

编程日记 2024/6/8 2:05:27

第二十六章HTML与CSS书写规范

1.HTML书写规范 1.文档类型声明及编码 统一为html5 声明类型。编码统一为utf-8。 2.页面tdk TDK是一个缩写&#xff0c;其中“T”表示为网页定义标题&#xff0c;“D”表示为网页定义描述 description&#xff0c;“K”表示为搜索引擎定义关键词keywords。 1、<title&g…...

编程日记 2024/6/8 2:04:26

基于FPGA的AD5753（DAC数模转换器）的控制 II（SPI驱动）

基于FPGA的AD5753&#xff08;DAC数模转换器&#xff09;的控制 II&#xff08;已上板验证&#xff09; 语言 &#xff1a;Verilg HDL EDA工具&#xff1a;Vivado 基于FPGA的AD5753&#xff08;DAC数模转换器&#xff09;的控制 II&#xff08;已上板验证&#xff09;一、引言二…...

编程日记 2024/6/8 2:03:25

（二）原型模式

原型的功能是将一个已经存在的对象作为源目标，其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现，忽略对象创建过程中的其它细节。 📌 核心特点： 避免重复初…...

编程新知 2026/2/10 15:49:06

CMake 从 GitHub 下载第三方库并使用

有时我们希望直接使用 GitHub 上的开源库，而不想手动下载、编译和安装。 可以利用 CMake 提供的 FetchContent 模块来实现自动下载、构建和链接第三方库。 FetchContent 命令官方文档✅ 示例代码 我们将以 fmt 这个流行的格式化库为例，演示如何： 使用 FetchContent 从 GitH…...

编程新知 2026/2/1 3:19:54

JDK 17 新特性

#JDK 17 新特性 /**************** 文本块 *****************/ python/scala中早就支持&#xff0c;不稀奇 String json “”" { “name”: “Java”, “version”: 17 } “”"; /**************** Switch 语句 -> 表达式 *****************/ 挺好的&#xff…...

编程新知 2026/1/29 5:34:29

【SSH疑难排查】轻松解决新版OpenSSH连接旧服务器的“no matching...“系列算法协商失败问题

【SSH疑难排查】轻松解决新版OpenSSH连接旧服务器的"no matching..."系列算法协商失败问题 摘要&#xff1a; 近期&#xff0c;在使用较新版本的OpenSSH客户端连接老旧SSH服务器时&#xff0c;会遇到 "no matching key exchange method found"​, "n…...

编程新知 2025/9/29 4:00:38

C++.OpenGL （20/64）混合（Blending）

混合（Blending） 透明效果核心原理 #mermaid-svg-SWG0UzVfJms7Sm3e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-icon{fill:#552222;}#mermaid-svg-SWG0UzVfJms7Sm3e .error-text{fill…...

编程新知 2026/1/20 5:33:17

【JVM】Java虚拟机（二）——垃圾回收

目录 一、如何判断对象可以回收 &#xff08;一&#xff09;引用计数法 &#xff08;二&#xff09;可达性分析算法 二、垃圾回收算法 &#xff08;一&#xff09;标记清除 &#xff08;二&#xff09;标记整理 &#xff08;三&#xff09;复制 &#xff08;四&#xff…...

编程新知 2026/1/31 9:49:23

深度学习之模型压缩三驾马车：模型剪枝、模型量化、知识蒸馏

一、引言 在深度学习中&#xff0c;我们训练出的神经网络往往非常庞大&#xff08;比如像 ResNet、YOLOv8、Vision Transformer&#xff09;&#xff0c;虽然精度很高&#xff0c;但“太重”了&#xff0c;运行起来很慢&#xff0c;占用内存大&#xff0c;不适合部署到手机、摄…...

编程新知 2025/9/24 3:56:34

LangChain【6】之输出解析器：结构化LLM响应的关键工具

文章目录 一 LangChain输出解析器概述1.1 什么是输出解析器&#xff1f;1.2 主要功能与工作原理1.3 常用解析器类型 二 主要输出解析器类型2.1 Pydantic/Json输出解析器2.2 结构化输出解析器2.3 列表解析器2.4 日期解析器2.5 Json输出解析器2.6 xml输出解析器 三 高级使用技巧3…...

编程新知 2025/10/4 5:55:58

2.2.2 ASPICE的需求分析

ASPICE的需求分析是汽车软件开发过程中至关重要的一环&#xff0c;它涉及到对需求进行详细分析、验证和确认&#xff0c;以确保软件产品能够满足客户和用户的需求。在ASPICE中&#xff0c;需求分析的关键步骤包括&#xff1a; 需求细化&#xff1a;将从需求收集阶段获得的高层需…...

编程新知 2025/10/12 15:47:17

基于Python的气象数据分析及可视化研究

目录 一.&#x1f981;前言二.&#x1f981;开源代码与组件使用情况说明三.&#x1f981;核心功能1. ✅算法设计2. ✅PyEcharts库3. ✅Flask框架4. ✅爬虫5. ✅部署项目 四.&#x1f981;演示效果1. 管理员模块1.1 用户管理 2. 用户模块2.1 登录系统2.2 查看实时数据2.3 查看天…...

编程新知 2026/2/6 1:10:23