当前位置： 首页 > news >正文

数据分析-48-时间序列变点检测之在线实时数据的CPD

news 2025/7/3 13:32:48

文章目录

  • 1 时间序列结构
    • 1.1 变化点的定义
    • 1.2 结构变化的类型
      • 1.2.1 水平变化
      • 1.2.2 方差变化
    • 1.3 变点检测
      • 1.3.1 离线数据检测方法
      • 1.3.2 实时数据检测方法
  • 2 模拟数据
    • 2.1 模拟恒定方差数据
    • 2.2 模拟变化方差数据
  • 3 实时数据CPD
    • 3.1 SDAR学习算法
    • 3.2 Changefinder模块
    • 3.3 恒定方差CPD
      • 3.3.1 查看变点得分
      • 3.3.2 绘制变点图(简单排序法)
      • 3.3.3 绘制变点图(归并排序法)
    • 3.4 变化方差CPD
  • 4 变点的处理策略
    • 4.1 差分法
    • 4.2 虚拟变量法
  • 5 参考附录

1 时间序列结构

1.1 变化点的定义

平稳性是时间序列分析与预测的核心概念。在平稳条件下，时间序列的统计特性（如均值）在时间维度上保持不变，仅存在随机波动。

但是实际数据集中很少观察到完全的平稳性。时间序列通常会经历结构性断裂或变化，这些变化会引入非平稳性，从而改变时间序列的整体分布，这些标志着变化开始的时间点被称为变化点。
在这里插入图片描述
假设你正在进行运动时，使用数字设备监测心率。你先跑了四分之一公里，然后走了十分钟，接着又跑了四分之一公里里。可能你的心率情况与图中的时间序列相似。上图中展示了一段高心率、一段低心率，然后又回到高心率。时间序列的突然变化提示我们，你的活动状态发生了重大变化。

但需要注意的是，结构变化与异常值是两个不同的概念。
在这里插入图片描述

(1)异常值是指与时间序列的基本结构或分布所定义的正常行为显著偏离的观测值。
(2)变化点则是指时间序列的整体结构发生转变&#

相关文章：

数据分析-48-时间序列变点检测之在线实时数据的CPD

文章目录 1 时间序列结构1.1 变化点的定义1.2 结构变化的类型1.2.1 水平变化1.2.2 方差变化1.3 变点检测1.3.1 离线数据检测方法1.3.2 实时数据检测方法2 模拟数据2.1 模拟恒定方差数据2.2 模拟变化方差数据3 实时数据CPD3.1 SDAR学习算法3.2 Changefinder模块3.3 恒定方差CPD3…...

编程日记 2024/11/19 21:35:42

POD-Transformer多变量回归预测（Matlab）

目录 效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab实现POD-Transformer多变量回归预测，本征正交分解数据降维融合Transformer多变量回归预测，使用SVD进行POD分解（本征正交分解）； 2.运行环境Matlab20…...

编程日记 2024/11/19 21:34:41

Hadoop生态圈框架部署（七）- MySQL安装与配置教程

文章目录 前言一、MySQL安装与配置（手动部署）1. 下载MySQL2. 上传安装包3. 解压HBase安装包4. 配置4.1 配置 MySQL 的主配置文件 my.cnf4.2 配置 MySQL 服务的脚本 5. 初始化MySQL数据库6. 创建快捷方式7. 启动MySQL服务8. 修改MySQL登录密码8.1 使用临时…...

编程日记 2024/11/19 21:30:36

视频直播5G CPE解决方案：ZX7981PG/ZX7981PMWIFI6网络覆盖

方案背景 视频直播蓬勃发展的当下，传统直播网络联网方式的局限性越来越明显。目前传统直播的局限性主要集中在以下几个方面： 传统直播间网络架构条件有限，可连接WIFI数量少，多终端同时直播难以维持；目前4G网络带宽有限…...

编程日记 2024/11/19 21:27:33

技术周刊 ｜Google 2024 年首届 Web AI 峰会回顾

大家好，我是童欧巴。见字如面，万事胜意，欢迎来到第 134 期周刊。 大厨推荐 Google 2024 年首届 Web AI 峰会回顾 不仅包括来自谷歌团队的演讲者，如 Chrome 和 MediaPipe，还包括第三方代表，如英特尔、Hug…...

编程日记 2024/11/19 21:26:32

web——upload-labs——第十二关——%00截断

查看源码 分析源码我们可以知道，这里是基于白名单过滤，只允许上传jpg,png,gif，但是这里注意第八行，上传路径是可以控制的，所以可以利用%00截断，来达到上传木马的目的。这里要注意一下，%00截断想…...

编程日记 2024/11/19 21:24:30

ORA-01461: 仅能绑定要插入 LONG 列的 LONG 值。ojdbc8版本23.2.0.0驱动BUG【已解决】

问题描述 JDK8使用ojdbc8驱动操作oracle11g数据库，使用JDBC复用 PreparedStatement 对象执行Insert操作时，报错java.sql.SQLException: ORA-01461: 仅能绑定要插入 LONG 列的 LONG 值。，经测试发现，是预编译对象某个占位符号被赋…...

编程日记 2024/11/19 21:21:28

win10 自带 directx 修复工具怎么用？最新 directx 修复工具使用方法介绍

DirectX 是一组用于处理多媒体，特别是游戏和图形相关任务的技术和接口。当 DirectX 出现问题，可能会导致游戏运行不畅、图像显示异常、声音故障等。 系统自带的 directx 修复工具能够检测 DirectX 的组件是否完整、版本是否正确、配置是否合理&#xff…...

编程日记 2024/11/19 21:19:26

报错java: java.lang.NoSuchFieldError: Class com.sun.tools.javac.tree.JCTree$JCImport does not ...解决方法

在运行项目时出现java: java.lang.NoSuchFieldError: Class com.sun.tools.javac.tree.JCTree$JCImport does not have member field com.sun.tools.javac.tree.JCTree qualidzz这样的报错 解决方法 1.第一步：在pom文件中将lombok的版本改成最新的 此时1.18.34是新…...

编程日记 2024/11/19 21:18:24

前端三大件之CSS

引言 CSS（层叠样式表，Cascading Style Sheets）是一种用于描述网页文档外观和格式的样式表语言。它主要用于控制网页的布局、颜色、字体、间距等视觉效果，使开发者能够将内容与设计分离。 一，CSS的基本概念 选择器&…...

编程日记 2024/11/19 21:17:23

C语言 | 指针 | 野指针 | 数组指针 | 指针数组 | 二级指针 | 函数指针 | 指针函数

文章目录 1.指针的定义2.指针的加减运算3.野指针4.指针 & 数组 & 传参 & 字符数组5.数组指针 & 指针数组6.二级指针7.指针函数 & 函数指针 & 回调函数8.函数指针数组 & 指向函数指针数组的指针 1.指针的定义 指针是内存中一个最小单元的编号&…...

编程日记 2024/11/19 21:15:21

mysql 的乐观锁和 mvcc 是一回事吗

MySQL 的乐观锁和 MVCC（多版本并发控制）是两个不同的概念，尽管它们都涉及到并发控制和数据的一致性，但在设计目的和实现方式上存在本质区别。 1. 乐观锁 概念 乐观锁是一种用于解决并发更新冲突的控制机制。它假设数据在大部分情况…...

编程日记 2024/11/19 21:13:20

redis的击穿和雪崩

Redis 是一个高性能的键值存储数据库，广泛用于缓存、会话管理等场景。然而，Redis 在高并发场景下可能会遇到一些问题，比如“击穿”和“雪崩”。下面详细解释这两个概念： 击穿（Hotspot） 击穿是指某个热点数…...

编程日记 2024/11/19 21:10:17

java中创建多线程的4种方式

目录 一、继承 Thread 类创建线程 步骤 示例代码 原理 二、实现 Runnable 接口创建线程 步骤 示例代码 原理 三、实现 Callable 接口创建线程 步骤 示例代码 原理 与Runnable接口相比的不同之处 四、使用线程池创建线程 步骤 示例代码（使用 Executo…...

编程日记 2024/11/19 21:06:13

MATLAB深度学习(二)——如何训练一个卷积神经网路

2.1 基本概念 从数学的角度看，机器学习的目标是建立输入和输出的函数关系，相当于 y F（x）的过程。F（x）就是我们所说的模型，对于使用者来说，这个模型就是一个黑箱，我们不知…...

编程日记 2024/11/19 21:05:12

删除k8s 或者docker运行失败的脚本

vi delete_exited_containers.sh#!/bin/bash# 列出所有停止的容器并存储到数组 list_exited_containers() {echo -e "\nStopped containers:"containers()# 获取停止的容器信息并存入数组while IFS read -r line; docontainers("$line")done < <(do…...

编程日记 2024/11/19 21:04:11

重置docker版本的octoprint管理员账号密码

我的情况是octoprint安装在HiNAS系统的机顶盒上&#xff0c;只有一个账号&#xff0c;但是忘记了用户名和密码。有两个选择&#xff1a; 可以试试先找回用户名&#xff0c;然后尝试你的常用密码。直接重置所有账号。 1.找回用户名&#xff1a; 使用使用 docker exec -it <…...

编程日记 2024/11/19 21:03:10

prometheus监控数据远程写入Kafka集群

文章目录 前言一、环境简介1.1 环境简介1.2 部署清单1.3 组件版本 二、部署步骤2.1 prometheus部署2.2 kafka集群部署2.3 prometheus-kafka-adapter部署 三、数据验证四、总结 前言 根据项目要求&#xff0c;需将prometheus监控数据存储到kafka中。前面为了图方便就搭建了单机…...

编程日记 2024/11/19 21:01:07

Excel使用-弹窗“此工作簿包含到一个或多个可能不安全的外部源的链接”的发生与处理

文章目录 前言一、探讨问题发生原因1.引入外部公式2.引入外部数据验证二、问题现象排查及解决1.排查公式2.排查数据验证3.特殊处理方式总结前言 作为一种常用的办公软件，Excel被大家所熟知。尽管使用了多年，有时候在使用Excel时候也会发生一些不太常见的现象，需要用心核查下…...

编程日记 2024/11/19 21:00:06

C++小白实习日记——Day 2 TSCNS怎么读取当前时间

和老板问了一下&#xff0c;今天就可以自己上手了&#xff1a; 用TSCNS写了一个cpp,运行出来老板说让我去看看另一个项目是怎么做的 用TSCNS和std库获取当前时间 #include <iostream> #include <iomanip> #include "tscns.h"using namespace std;TSCN…...

编程日记 2024/11/19 20:58:04

【Java学习笔记】Arrays类

Arrays 类 1. 导入包&#xff1a;import java.util.Arrays 2. 常用方法一览表 方法描述Arrays.toString()返回数组的字符串形式Arrays.sort()排序&#xff08;自然排序和定制排序&#xff09;Arrays.binarySearch()通过二分搜索法进行查找&#xff08;前提&#xff1a;数组是…...

编程新知 2025/6/21 5:38:34

【入坑系列】TiDB 强制索引在不同库下不生效问题

文章目录 背景SQL 优化情况线上SQL运行情况分析怀疑1：执行计划绑定问题？尝试：SHOW WARNINGS 查看警告探索 TiDB 的 USE_INDEX 写法Hint 不生效问题排查解决参考背景 项目中使用 TiDB 数据库，并对 SQL 进行优化了，添加了强制索引。 UAT 环境已经生效，但 PROD 环境强制索…...

编程新知 2025/7/1 17:21:40

【位运算】消失的两个数字（hard）

消失的两个数字&#xff08;hard&#xff09; 题⽬描述&#xff1a;解法&#xff08;位运算&#xff09;&#xff1a;Java 算法代码&#xff1a;更简便代码 题⽬链接&#xff1a;⾯试题 17.19. 消失的两个数字 题⽬描述&#xff1a; 给定⼀个数组&#xff0c;包含从 1 到 N 所有…...

编程新知 2025/6/27 23:52:01

（二）原型模式

原型的功能是将一个已经存在的对象作为源目标，其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现，忽略对象创建过程中的其它细节。 📌 核心特点： 避免重复初…...

编程新知 2025/7/3 3:02:45

跨链模式：多链互操作架构与性能扩展方案

跨链模式&#xff1a;多链互操作架构与性能扩展方案 ——构建下一代区块链互联网的技术基石 一、跨链架构的核心范式演进 1. 分层协议栈&#xff1a;模块化解耦设计 现代跨链系统采用分层协议栈实现灵活扩展&#xff08;H2Cross架构&#xff09;&#xff1a; 适配层&#xf…...

编程新知 2025/6/25 14:51:35

项目部署到Linux上时遇到的错误（Redis，MySQL，无法正确连接，地址占用问题）

Redis无法正确连接 在运行jar包时出现了这样的错误 查询得知问题核心在于Redis连接失败&#xff0c;具体原因是客户端发送了密码认证请求&#xff0c;但Redis服务器未设置密码 1.为Redis设置密码&#xff08;匹配客户端配置&#xff09; 步骤&#xff1a; 1&#xff09;.修…...

编程新知 2025/7/3 12:34:43

视频行为标注工具BehaviLabel（源码+使用介绍+Windows.Exe版本）

前言&#xff1a; 最近在做行为检测相关的模型&#xff0c;用的是时空图卷积网络&#xff08;STGCN&#xff09;&#xff0c;但原有kinetic-400数据集数据质量较低&#xff0c;需要进行细粒度的标注&#xff0c;同时粗略搜了下已有开源工具基本都集中于图像分割这块&#xff0c…...

编程新知 2025/6/21 12:22:29

Mysql8 忘记密码重置，以及问题解决

1.使用免密登录 找到配置MySQL文件&#xff0c;我的文件路径是/etc/mysql/my.cnf&#xff0c;有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...

编程新知 2025/6/20 15:00:31

PostgreSQL——环境搭建

一、Linux # 安装 PostgreSQL 15 仓库 sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-$(rpm -E %{rhel})-x86_64/pgdg-redhat-repo-latest.noarch.rpm# 安装之前先确认是否已经存在PostgreSQL rpm -qa | grep postgres# 如果存在&#xff0…...

编程新知 2025/6/21 16:00:07

Scrapy-Redis分布式爬虫架构的可扩展性与容错性增强：基于微服务与容器化的解决方案

在大数据时代&#xff0c;海量数据的采集与处理成为企业和研究机构获取信息的关键环节。Scrapy-Redis作为一种经典的分布式爬虫架构&#xff0c;在处理大规模数据抓取任务时展现出强大的能力。然而&#xff0c;随着业务规模的不断扩大和数据抓取需求的日益复杂&#xff0c;传统…...

编程新知 2025/6/27 2:28:04