【笔记】数据异常检测与修复总结
文章目录
- 一、异常种类
- 1. 对于移动对象的数据异常
- 2. 对于时序数据的异常检测
- 二、异常数据清洗流程
- 三、数据预处理
- 四、异常检测算法
- 五、异常修复算法
- 六、漂移数据清洗
一、异常种类
不同的研究对象，有着不同的异常分类方式
1. 对于移动对象的数据异常
异常数据信息，包括重复数据、无序数据、缺失数据、 无效数据、漂移数据、模糊数据。
| 类型 | 描述 |
|---|---|
| 重复数据 | 由于设备或其他因素问题 导致的数据重复存储造成的 |
| 无序数据 | 是网络传输延迟造成的不正确的数据存储顺序 |
| 缺失数据 | 通过比较两个数据之间的时间差和数据收集的频率来确定的 |
| 无效数据 | 由数据的纬度或经度是否超出范围来确定 |
| 漂移数据 | 是指不符合行驶规则，明显偏离行驶轨迹的数据记录 |
| 模糊数据 | \ |
2. 对于时序数据的异常检测
除了重复数据、无序数据、缺失数据、 无效数据。
又可以将数据的异常精确地分为：
- 点异常值：相对于全局其他数据的异常实例。
- 上下文异常值：上下文异常值通常在它们自己的上下文中具有相对较大/较小的值，但不是全局的。
- 集体异常值：被定义为相对于整个数据集异常的相关异常数据实例的集合。
以上这些异常的检测难度也较大。
再细分的话，集体异常值又可以分类为：
- shapelet outliers (异常的局部子序列): 。
- seasonal outliers (异常周期性的局部子序列): 。
- trend outliers (异常趋势的局部子序列):
二、异常数据清洗流程
三、数据预处理
- 是否要排序
- 是否要规定索引
- 是否要填充缺失值、删除重复值
- 是否要调整数据格式（列位置调换、提取所需数据）
四、异常检测算法
五、异常修复算法
- 均值填充
- 最大似然估计
- NNF
近邻数据填充 NNF（Nearest Neighbor Fill）算法
NNF 算法不仅具有 MA 算法均等填充数据的优势,而且对于逐渐演化的数据也有很好的填充优 势,在变化的数据中,NNF 比 MA 有更好的填充效果。
- 。。。
六、漂移数据清洗
一种结合范围约束和最大似然估计的算法
- 修复漂移较大的数据异常：范围约束
- 修复漂移较小的数据异常：滑动窗口统计
相关文章：
【笔记】数据异常检测与修复总结
文章目录一、异常种类1. 对于移动对象的数据异常2. 对于时序数据的异常检测二、异常数据清洗流程三、数据预处理四、异常检测算法五、异常修复算法六、漂移数据清洗一、异常种类 不同的研究对象，有着不同的异常分类方式 1. 对于移动对象的数据异常 异常数据信息&…...
算法笔记（七）—— 图的相关知识及算法
图的存储方式 1. 邻接表（记录关于某点的直接相邻点） 2. 邻接矩阵（一定是正方形的矩阵，对点进行编号，点到点的权值由距震中的值表示，无直接相连记为正无穷） 图的模板 unordered_map<int,No…...
ssh配置互信时错误解决方法
之前项目中遇到有关配置ssh互信免密登录问题，为避免以后踩坑，现记录一下避坑指南。 1、提示如下错误： Permission denied (publickey,gssapi-keyex,gssapi-with-mic). 问题分析：可能是ssh配置问题。 查看日志/var/log/secure&…...
SQL69 返回产品并且按照价格排序
描述有Products 表prod_idprod_nameprod_pricea0011egg3a0019sockets4b0019coffee15【问题】编写 SQL 语句，返回 Products 表中所有价格在 3 美元到 6 美元之间的产品的名称（prod_name）和价格（prod_price），…...
vue+elementUI 实现设置还款日字母弹窗组件
1、业务背景 还款业务，设置每月还款日，选每月几号扣款，不需要29、30、31，因为不是每个月都有这三天的 2、预期效果图 3、代码实现 3.1 初始化vue项目 地址：https://cn.vuejs.org/guide/introduction.html 3.2 在项…...
【JavaGuide面试总结】Redis篇·中
【JavaGuide面试总结】Redis篇中1.Redis 单线程模型了解吗？2.Redis6.0 之后为何引入了多线程？3.Redis 是如何判断数据是否过期的呢？4.过期的数据的删除策略了解么？5.Redis 内存淘汰机制了解么？6.什么是 RDB 持久化&…...
Python：每日一题之全球变暖（BFS连通性判断）
题目描述 你有一张某海域 NxN 像素的照片，"."表示海洋、"#"表示陆地，如下所示： ....... .##.... .##.... ....##. ..####. ...###. ....... 其中"上下左右"四个方向上连在一起的一片陆地组成一座岛屿…...
VUE -- defineExpose
defineExpose定义demo定义 defineExpose定义：用于组件通信中父级组件调用操作子组建方法和响应式属性参数能力 在使用definExpose前需要了解两个拷贝对象函数 对象copy：shallowReactive 与 数据 copy：shallowRef 这两个都是vue包里面的 简…...
实用调试技巧【下篇】
🔴本文章是在 Visual Studio 2022（VS2022）编译环境下进行操作讲解 文章目录3.2.调试的时候查看程序当前信息3.2.1.查看临时变量的值3.2.2.查看内存信息3.2.3.查看调用堆栈3.2.4.查看汇编信息🥳4.调试实例🥳5.如何写出&…...
【数据结构期末例题】
前言 本文是博主自己在准备学校数据结构考试时的总结，各个知识点都贴有对应的详细讲解文章以供大家参考；当然文中还有许许多多的截图，这些是博主对主要内容的摘取，对于那些基础较好的同学可以直接看截图，减少跳转对应文…...
管理物理和快照备数据库（Physical and Snapshot Standby Databases）
1．打开物理备数据库 物理备数据库可以打开做只读访问，用于从主数据库卸载查询负载。 如果已经购买Oracle Active Data Guard选项的授权，当数据库打开时Redo Apply可以是激活的，因此允许查询返回与从主数据库返回的完全相同的结果…...
双目立体视觉：SAD算法
算法原理SAD(Sum of absolute differences)是一种图像匹配算法。基本思想：差的绝对值之和。此算法常用于图像块匹配，将每个像素对应数值之差的绝对值求和，据此评估两个图像块的相似度。该算法快速、但并不精确，通常用于多级处理的…...
海外问卷调查答题技巧，纯干货分享，新手小白看过来
海外问卷调查为什么别人赚得盆满钵满而我却连通过都不行？是不是经常有人发出这种疑问，东哥作为一个结交过很多做问卷调查行业的跨境人士，也了解到很多做这一行的去答题的时候都是掌握一定技巧的，而不是去乱答。今天东哥就来说说国…...
【NGINX入门指北】Nginx Web 架构实验
Nginx Web 架构实验 文章目录Nginx Web 架构实验一、动态网站结构二、LNMP 动态网站环境部署三、fastcgi & php-fpm：四、php-fpm初始化配置五、Nginx Location、六、Nginx Rewrite七、CA&HTTPS八、Nginx 的平滑升级一、动态网站结构 资源 资源文件识别——…...
rtt-nano移植
nano其他功能移植 添加finsh组件打开宏实现rt_hw_console_getchar函数添加finsh组件到工程总结问题1. 移植到stm32G0过程中出现Undefined symbol rt_hw_interrupt_disable (referred from clock.o)？？2. “implict declaration of function ‘ ‘ is invalid in c99??3. 关于…...
cnn+transformer
好的，下面是使用 Transformer 加 CNN 实现语义分割的代码，使用的数据集是 Semantic Segmentation Drone Dataset。 首先，我们需要导入必要的 Python 库和模块。我们将使用 PyTorch 深度学习框架来实现模型： #python import torch import torch.nn as nn import torch.nn.fu…...
Python fileinput模块：逐行读取多个文件
前面章节中，我们学会了使用 open() 和 read()（或者 readline()、readlines() ）组合，来读取单个文件中的数据。但在某些场景中，可能需要读取多个文件的数据，这种情况下，再使用这个组合࿰…...
Vue3路由传参
vue3路由和vue2差别不是很大，不过在传参形式上略有改变 在Vue3中使用路由必须引入 useRouter 和 useRoute import { useRoute, useRouter } from vue-routerconst Router useRouter() //跳转const Route useRoute() //获取到值 同Vue2一样，query使用p…...
用户管理——认证功能JWT和Session
目录用户认证功能的技术选型JWT和Session的区别基于JWT和Session的认证流程基于JWT的认证流程基于Session的认证流程基于JWT和Session的认证的优缺点基于JWT和Session的认证的安全性基于JWT和Session的认证的性能分析基于JWT的一次性和无法废弃基于JWT和Session的认证的续签选择…...
hashlib — 加密哈希算法
hashlib — 加密哈希算法 1.概述 加密可以保护消息的安全，以便验证它们的准确性并且使它们受保护不被拦截。 Python 的加密方式支持包括利用像 MD5 和 SHA 这样的标准算法对消息内容产生签名的 hashlib 和验证消息没有在传输过程中被改变的 hmac hashlib 哈希库模…...
day52 ResNet18 CBAM
在深度学习的旅程中，我们不断探索如何提升模型的性能。今天，我将分享我在 ResNet18 模型中插入 CBAM（Convolutional Block Attention Module）模块，并采用分阶段微调策略的实践过程。通过这个过程，我不仅提升…...
selenium学习实战【Python爬虫】
selenium学习实战【Python爬虫】 文章目录 selenium学习实战【Python爬虫】一、声明二、学习目标三、安装依赖3.1 安装selenium库3.2 安装浏览器驱动3.2.1 查看Edge版本3.2.2 驱动安装 四、代码讲解4.1 配置浏览器4.2 加载更多4.3 寻找内容4.4 完整代码 五、报告文件爬取5.1 提…...
使用LangGraph和LangSmith构建多智能体人工智能系统
现在，通过组合几个较小的子智能体来创建一个强大的人工智能智能体正成为一种趋势。但这也带来了一些挑战，比如减少幻觉、管理对话流程、在测试期间留意智能体的工作方式、允许人工介入以及评估其性能。你需要进行大量的反复试验。 在这篇博客〔原作者&a…...
LLMs 系列实操科普（1）
写在前面： 本期内容我们继续 Andrej Karpathy 的《How I use LLMs》讲座内容，原视频时长 ~130 分钟，以实操演示主流的一些 LLMs 的使用，由于涉及到实操，实际上并不适合以文字整理，但还是决定尽量整理一份笔…...
华为OD机考-机房布局
import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...
RSS 2025｜从说明书学习复杂机器人操作任务：NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill
视觉语言模型（Vision-Language Models, VLMs），为真实环境中的机器人操作任务提供了极具潜力的解决方案。 尽管 VLMs 取得了显著进展，机器人仍难以胜任复杂的长时程任务（如家具装配），主要受限于人…...
【iOS】 Block再学习
iOS Block再学习 文章目录 iOS Block再学习前言Block的三种类型__ NSGlobalBlock____ NSMallocBlock____ NSStackBlock__小结 Block底层分析Block的结构捕获自由变量捕获全局(静态)变量捕获静态变量__block修饰符forwarding指针 Block的copy时机block作为函数返回值将block赋给…...
raid存储技术
1. 存储技术概念 数据存储架构是对数据存储方式、存储设备及相关组件的组织和规划，涵盖存储系统的布局、数据存储策略等，它明确数据如何存储、管理与访问，为数据的安全、高效使用提供支撑。 由计算机中一组存储设备、控制部件和管理信息调度的…...
Qwen系列之Qwen3解读：最强开源模型的细节拆解
文章目录 1.1分钟快览2.模型架构2.1.Dense模型2.2.MoE模型 3.预训练阶段3.1.数据3.2.训练3.3.评估 4.后训练阶段S1: 长链思维冷启动S2: 推理强化学习S3: 思考模式融合S4: 通用强化学习 5.全家桶中的小模型训练评估评估数据集评估细节评估效果弱智评估和民间Arena 分析展望 如果…...
CMS内容管理系统的设计与实现：多站点模式的实现
在一套内容管理系统中，其实有很多站点，比如企业门户网站，产品手册，知识帮助手册等，因此会需要多个站点，甚至PC、mobile、ipad各有一个站点。 每个站点关联的有站点所在目录及所属的域名。 一、站点表设计…...