当前位置： 首页 > news >正文

Python爬取城市空气质量数据

news 2026/3/28 4:46:36

Python爬取城市空气质量数据

  • 一、思路分析
    • 1、寻找数据接口
    • 2、发送请求
    • 3、解析数据
    • 4、保存数据
  • 二、完整代码

一、思路分析

目标数据所在的网站是天气后报网站，网址为：www.tianqihoubao.com，需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况：
在这里插入图片描述

1、寻找数据接口

在天气后报网站主页找到空气质量菜单项并点击，找到湖北武汉市并点击，下拉找到时间列表，点击一个月份时间（以2024年3月为例），进入到如下图所示页面：
在这里插入图片描述
打开浏览器开发者工具（按F12键或者在页面右键然后点击检查）进行抓包，按F5刷新页面，发现开发者工具Network选项卡下抓到了很多数据包，如图所示：
在这里插入图片描述
查看每个数据包中的Response，发现我们所需要的数据在http://www.tianqihoubao.com/aqi/wuhan-202403.html数据包中。

2、发送请求

第二步就是要模拟浏览器向服务器发送请

相关文章：

Python爬取城市空气质量数据

Python爬取城市空气质量数据 一、思路分析1、寻找数据接口2、发送请求3、解析数据4、保存数据二、完整代码一、思路分析 目标数据所在的网站是天气后报网站，网址为：www.tianqihoubao.com，需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况： 1、寻找数据…...

编程日记 2024/6/8 2:38:01

【MyBatisPlus条件构造器】

文章目录 什么是条件构造器？使用步骤1. 引入 MyBatisPlus 依赖2. 创建实体类3. 使用条件构造器查询4. 执行查询 示例代码 什么是条件构造器？ 条件构造器是 MyBatisPlus 提供的一种灵活的查询条件设置方式，它可以帮助开发者构建复杂的查询条件…...

编程日记 2024/6/8 2:37:00

容器多机部署eureka及相关集群服务出现 Request execution failed with message: AuthScheme is null

预期部署方案：两个eureka三个相关应用 注册时应用出现：Request execution failed with message: Cannot invoke “Object.getClass()” because “authScheme” is null，一开始认为未正确传递eureka配置的账户密码，例：…...

编程日记 2024/6/8 2:35:59

Qt Graphics View Framework 使用教程

欢迎来到 Qt Graphics View Framework 的世界！本教程将引导您了解这一强大工具的基础知识，并教您如何开始使用它来创建丰富的 2D 图形界面。无论您是编程新手还是经验丰富的开发者，本教程都将帮助您快速上手。 基本概念 Qt Graphics View F…...

编程日记 2024/6/8 2:34:57

【调试笔记-20240606-Linux-为 OpenWrt 的 nginx 服务器添加Shell CGI 支持】

调试笔记-系列文章目录 调试笔记-20240606-Linux-为 OpenWrt 的 nginx 服务器添加Shell CGI 支持 文章目录 调试笔记-系列文章目录调试笔记-20240606-Linux-为 OpenWrt 的 nginx 服务器添加Shell CGI 支持 前言一、调试环境操作系统：Windows 10 专业版调试环境调试…...

编程日记 2024/6/8 2:33:55

flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇

简介 作为一种特定领域语言，SQL 的设计初衷是隐藏底层数据处理的复杂性，让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性，在实现层面通常需引入状态后端 配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配…...

编程日记 2024/6/8 2:28:51

数据结构：顺序串

目录 1.顺序串是什么？ 2.顺序串常见操作和应用 3.包含头文件 4.结点设计 5.接口函数定义 6.接口函数实现 7.顺序串测试案列 顺序串是什么？ 顺序串，用于存储和操作字符串。在顺序串中，字符串被存储在一个连续的内存块中&#xff0c…...

编程日记 2024/6/8 2:27:51

掌握复选框（Checkbox）的奥秘：全选与反选功能实现

前言： 在网页设计中，复选框（Checkbox）是一种常见且实用的交互元素，它允许用户从一系列选项中选择多个项。无论是电子商务网站上的商品筛选，还是在线表单的数据收集，复选框都发挥着重要作用。然…...

编程日记 2024/6/8 2:23:46

一篇文章带你搞懂C++引用（建议收藏）

引用 6.1 引用概念 引用不是新定义一个变量，而是给已存在变量取了一个别名，编译器不会为引用变量开辟内存空间，它和它引用的变量共用同一块内存空间。 比如：李逵，在家称为"铁牛"，江湖上人称&quo…...

编程日记 2024/6/8 2:22:45

查询SQL：文章浏览1

问题描述 请查询出所有浏览过自己文章的作者 结果按照 id 升序排列。 查询结果的格式如下所示： 题目分析： 这题主要考察排序asc（升序）、desc（降序）以及distinct字段。 解决方案： select DIS…...

编程日记 2024/6/8 2:19:42

android 在onCreate方法中获得view的宽高

view在绘制完成后才会有自己的宽高，所以在onCreate中要获得view的宽高可以通过以下4中方法： 1、ViewTreeObserver：监听界面绘制事件，在layout时调用，使用完毕后记得removeListener 2、view.post，因为runn…...

编程日记 2024/6/8 2:15:39

SOA主要协议和规范

Web服务作为实现SOA中服务的最主要手段。首先来了解Web Service相关的标准。它们大多以“WS-”作为名字的前缀，所以统称“WS-*”。Web服务最基本的协议包括UDDI、WSDL和SOAP，通过它们，可以提供直接而又简单的Web Service支持，如图…...

编程日记 2024/6/8 2:13:36

30、matlab现代滤波：维纳滤波/LMS算法滤波/小波变换滤波

1、信号1和信号2的维纳滤波 实现代码 N 2000; %采样点数 Fs 2000; %采样频率 t 0:1 / Fs:1 - 1 / Fs; %时间序列 Signal1 sin(2*pi*20* t) sin(2*pi*40* t) sin(2*pi*60* t); Signal2[2*ones(1,50),zeros(1,50),-1*ones(1,100),zeros(1,50),-2*ones(1,50),zeros(1,50),1…...

编程日记 2024/6/8 2:10:33

HTML5 视频 Vedio 标签详解

HTML5 引入了 <video> 标签&#xff0c;允许开发者在网页中直接嵌入视频文件&#xff0c;而不需要依赖第三方插件。本文将全面介绍 <video> 标签的各种属性&#xff0c;并通过实例代码详细说明其用法。 一、基础用法 1. 基本结构 HTML5 中使用 <video> 标…...

编程日记 2024/6/8 2:09:32

三十五篇：数字化转型的引擎：赋能企业的ERP系统全景

数字化转型的引擎&#xff1a;赋能企业的ERP系统全景 1. 引言 在这个快速变化的数字时代&#xff0c;现代企业面临着前所未有的挑战和机遇。企业资源计划&#xff08;ERP&#xff09;系统&#xff0c;作为数字化转型的核心&#xff0c;扮演着至关重要的角色。它不仅是企业运营…...

编程日记 2024/6/8 2:08:31

利用ArcGIS对长江三角洲地区的gdp水平进行聚类

1、导入矢量图、数据 长三角地区矢量图 长三角地区矢量图对应数据 2、连接 3、设置属性将人均gdp数据导入 4、设置标注和图例 选择布局视图 5、聚类 2020年人均gdp地区聚类 6、2005~2020年各地区人均gdp可视化及聚类汇总 &#xff08;1&#xff09;2005~2020可视化 2005 …...

编程日记 2024/6/8 2:07:29

释放视频潜力：Topaz Video AI for mac/win 一款全新的视频增强与修复利器

在数字时代&#xff0c;视频已经成为我们记录生活、分享经历的重要方式。然而&#xff0c;有时候我们所拍摄的视频可能并不完美&#xff0c;可能存在模糊、噪点、抖动等问题。这时候&#xff0c;就需要一款强大的视频增强和修复工具来帮助我们提升视频质量&#xff0c;让它们更…...

编程日记 2024/6/8 2:06:28

MongoDB 正则表达式详解：高效数据查询与处理技巧

MongoDB 的正则表达式&#xff08;Regular Expression&#xff09;功能允许在查询中进行模式匹配和文本搜索&#xff0c;为用户提供了强大的灵活性。 基本语法 MongoDB 中使用正则表达式时&#xff0c;通常是在查询语句中使用 $regex 操作符。基本语法如下&#xff1a; { &l…...

编程日记 2024/6/8 2:05:27

第二十六章HTML与CSS书写规范

1.HTML书写规范 1.文档类型声明及编码 统一为html5 声明类型。编码统一为utf-8。 2.页面tdk TDK是一个缩写&#xff0c;其中“T”表示为网页定义标题&#xff0c;“D”表示为网页定义描述 description&#xff0c;“K”表示为搜索引擎定义关键词keywords。 1、<title&g…...

编程日记 2024/6/8 2:04:26

基于FPGA的AD5753（DAC数模转换器）的控制 II（SPI驱动）

基于FPGA的AD5753&#xff08;DAC数模转换器&#xff09;的控制 II&#xff08;已上板验证&#xff09; 语言 &#xff1a;Verilg HDL EDA工具&#xff1a;Vivado 基于FPGA的AD5753&#xff08;DAC数模转换器&#xff09;的控制 II&#xff08;已上板验证&#xff09;一、引言二…...

编程日记 2024/6/8 2:03:25

合宙 MCP 工具：TRAE AI 自然语言控制 Luatools 实操

合宙MCP工具基于 MCP 协议&#xff0c;实现 AI 大模型与 Luatools 的无缝连接&#xff0c;开发者通过简单 JSON 配置&#xff0c;就能在 TRAE 编辑器用自然语言操控 Luatools 完成固件下载、日志获取等操作&#xff0c;告别手动烧录的繁琐。 核心能力&#xff1a; 固件自动烧录…...

编程新知 2026/3/28 2:22:51

SAP--S4/HANA

1、Webdispatcher 2、ASCS 全称&#xff1a;ABAP Central Services Instance&#xff08;在 Java 栈中称为 SCS - Java Central Services&#xff09;。 核心功能&#xff1a;它是 SAP 系统的“大脑”或控制中心&#xff0c;不包含处理具体业务对话&#xff08;Dialog&#xff…...

编程新知 2026/3/28 1:43:59

Nginx 简单使用配置

配置 user nginx; worker_processes auto;error_log /var/log/nginx/error.log notice; pid /var/run/nginx.pid;events {worker_connections 1024; }http {include /etc/nginx/mime.types;default_type application/octet-stream;log_format main $remote…...

编程新知 2026/3/28 1:41:49

ZephyrOS--实战Bluetooth LE心率监测

1. 从零开始搭建ZephyrOS开发环境 第一次接触ZephyrOS时&#xff0c;我花了整整两天时间才把开发环境搭好。现在回想起来&#xff0c;其实只要掌握几个关键步骤就能避开那些坑。这里我以nRF52开发板为例&#xff0c;带你快速搭建起心率监测项目的开发环境。 首先需要安装Zephyr…...

编程新知 2026/3/27 23:10:36

深入解析卷积层参数量与FLOPs的计算原理及优化策略

1. 卷积层参数量计算原理 要理解卷积层的参数量计算&#xff0c;我们先从一个实际例子入手。假设有个输入特征图尺寸是64643&#xff08;HWC&#xff09;&#xff0c;卷积核大小33&#xff0c;输出通道数64&#xff0c;带偏置项。这时候参数量是多少呢&#xff1f; 参数量的构…...

编程新知 2026/3/27 22:48:24

从SOP到AI Society：MGX多智能体协作平台如何重塑软件开发流程

1. MGX平台如何用SOP机制颠覆传统开发模式 我第一次接触MGX平台时&#xff0c;被它的标准化操作流程&#xff08;SOP&#xff09;惊艳到了。这就像把一个混乱的施工现场变成了井然有序的装配线&#xff0c;每个智能体都知道自己该在什么时候做什么事。传统开发中&#xff0c;我…...

编程新知 2026/3/27 21:11:46

【Python张量计算实战宝典】：20年AI架构师亲授5大高频场景优化技巧，错过再等一年

第一章&#xff1a;张量计算基础与PyTorch/TensorFlow双框架选型指南张量是深度学习的核心数据结构&#xff0c;本质为多维数组&#xff0c;支持自动微分、GPU加速与动态/静态计算图构建。理解其内存布局&#xff08;如C-contiguous vs. Fortran-contiguous&#xff09;、广播机…...

编程新知 2026/3/27 20:15:08

uniapp圆环进度条组件实战：从零到一打造个性化数据展示

Uniapp圆环进度条组件实战&#xff1a;从零到一打造个性化数据展示 在移动应用开发中&#xff0c;数据可视化是提升用户体验的关键因素之一。圆环进度条作为一种直观的数据展示方式&#xff0c;广泛应用于健身追踪、学习进度、任务完成度等场景。Uniapp作为跨平台开发框架&…...

编程新知 2026/3/27 18:08:07

实战LangGraph构建智能客服系统：在快马平台实现工单自动分类与处理全流程

今天想和大家分享一个用LangGraph构建智能客服系统的实战经验。这个项目主要解决工单自动分类和处理的问题&#xff0c;整个过程在InsCode(快马)平台上完成&#xff0c;从开发到部署一气呵成。 项目背景与需求分析 传统客服系统需要人工处理大量工单&#xff0c;效率低下且容易…...

编程新知 2026/3/27 17:21:55

万物皆含意识：基于 OFIRM 框架下“信息闭合与自动确认”机制的本体论重构（声明：这是一个理论假说）

万物皆含意识&#xff1a;基于 OFIRM 框架下“信息闭合与自动确认”机制的本体论重构——对德布罗意物质波假说的对称性扩展与量子测量问题的去玄学化解作者&#xff1a;Haiting Allen Chen对应理论&#xff1a;本源场直觉共振模型 (OFIRM)___________________________________…...

编程新知 2026/3/27 16:25:22