当前位置： 首页 > news >正文

工业大数据分析算法实战-day15

news 2026/2/11 0:42:13

文章目录

  • day15
    • 特定数据类型的算法
    • 工业分析中的数据预处理
      • 工况划分
      • 数据缺失
      • 时间数据不连续
      • 强噪声
      • 大惯性系统
      • 趋势项消除

day15

今天是第15天，昨日是针对最优化算法、规则推理算法、系统辨识算法进行了阐述，今日主要是针对其他算法中的特定数据类型的算法、以及开启讨论工业算法分析的章节：第六章：工业分析中的典型处理方法

特定数据类型的算法

这块主要是针对文本数据、图像数据、时空数据的数据方法做了阐述，很多地方只是粗浅一带而过，所以我这边只是贴了一张图，以后有涉猎到再慢慢研究，毕竟是很大的方法类别.

文本数据类的不同研究任务

image-20241225195958336

图像数据的任务分类

image-20241225200008554

时空分析技术组成

image-20241225200020089

工业分析中的数据预处理

工况划分

不同工况的设备和系统运行规律、变量分布差异很大，因此对于工况划分是很多工业分析课题的前置条件，通常会有如下3种策略

  • 一次性分割策略：可采用Autoplait算法进行分割
  • 分组分割的策略：根据业务语义形成若干变量组，对于每个组做时序分割，然后对这些分割短进行聚类，最后对多个组的类别进行组合
    • 在单变量时序分割中，可以采用PELT算法按照均值/方差变化分成若干段，也可采用SAX、PAA、PLA等时序再表征算法
  • 聚类合并策略：对每个时刻点的向量进行聚类，标记t时刻对于的类别，根据类别时序进行自然分割

需要注意，时间序列分割算法通常是基于统计量（比如PELT算法根据均值、方差的变化进行切分）、局部结构（例如PLA用分段线性模型去逼近原序列）、局部动力学模型（例如AR模型）的稳定性进行显性分割，或者建立全局的生成式，或者建立全局的生成式概率模型（例如Autoplait用两层HMM模型）进行隐性分割（体现在隐含的状态类别变量上）

数据缺失

数据量充足的情况下，对于存在缺失值的记录，可以采用过滤的方式

相对平稳的指标，可以采用线性插值、多项式插值，或者建立自回归模型（如ARIMA模型）的方式填充

在中等规模数据量的情形下可以采用回归建模的方法（用其他变量去预测存在缺失的变量）

时间数据不连续

在探索性建模阶段应当遵循“大数原则”，尽快掌握技术的可实现度，但是在部署的版本一定要有严谨、鲁棒且明确的处理方法，以保证模型的可用性，有时候也可从领域知识的角度去发现和处理，ANOVA等统计方法也可检测统计分布的改变

强噪声

  • 对于毛刺型的噪声，可以使用中值滤波、STL分解等鲁棒性方法
  • 对于平稳性高噪声，采用线性滤波
  • 对于区间内有界但杂乱的信号，可以采用LOESS等局部线性拟合方法

大惯性系统

很多温场、流场存在很大的惯性，也就是当前点和上一点的差异接近噪声，用动力学模型建模（诸如lstm、状态方程）时，如果不加处理，因为其共线性，导致其效果不佳，此时放大尺度是一种通常的处理方法也就是增加粒度

趋势项消除

趋势项常常反映了外部调整或环境变化，不是工业对象本身的规律，需要滤除。另外很多分析算法需要信号是平稳的，至少不存在趋势。趋势项的消除可采用STL分解、小波分析等算法。下图a是原始数据，b是消除趋势后的时序

image-20241225214324974

相关文章：

工业大数据分析算法实战-day15

文章目录 day15特定数据类型的算法工业分析中的数据预处理工况划分数据缺失时间数据不连续强噪声大惯性系统趋势项消除 day15 今天是第15天，昨日是针对最优化算法、规则推理算法、系统辨识算法进行了阐述，今日主要是针对其他算法中的特定数据类型的算法…...

编程日记 2024/12/26 19:43:35

C语言实现顺序表详解

文章目录 [TOC] 1.前言🙋🏼‍♂️2.顺序表🧣2.1 顺序表概念🧣2.2 顺序表特点🧣2.2 顺序表作用🧣 3.顺序表基操🧤3.1 结构体初始化🎉3.2 顺序表初始化🎉3.3 顺序表创建&am…...

编程日记 2024/12/26 19:37:25

【ES6复习笔记】对象方法扩展（17）

对象方法扩展 在 JavaScript 中，对象是属性和方法的集合。除了内置的方法，我们还可以通过扩展对象的原型来添加新的方法。本教程将介绍如何使用 Object.is、Object.assign 和 Object.setPrototypeOf 方法来扩展对象。 1. Object.is 判断两个值是否完全…...

编程日记 2024/12/26 19:36:24

【视觉惯性SLAM：相机成像模型】

相机成像模型介绍 相机成像模型是计算机视觉和图像处理中的核心内容，它描述了真实三维世界如何通过相机映射到二维图像平面。相机成像模型通常包括针孔相机的基本成像原理、数学模型，以及在实际应用中如何处理相机的各种畸变现象。 一、针孔相机成像原…...

编程日记 2024/12/26 19:35:23

学习笔记（C#基础书籍）-- C#基础篇

（12.24） C#介绍：《第一章》 特点：语法简洁，面向对象，支持绝大部分的web标准，强大的安全机制（垃圾回收器），兼容性好（遵循.NET的公共语言规范【CL…...

编程日记 2024/12/26 19:33:19

操作系统（26）数据一致性控制

前言 操作系统数据一致性控制是确保在计算机系统中，数据在不同的操作和处理过程中始终保持正确和完整的一种机制。 一、数据一致性的重要性 在当今数字化的时代，操作系统作为计算机系统的核心，负责管理和协调各种资源，以确保计算机…...

编程日记 2024/12/26 19:32:17

ubuntu24.04使用opencv4

ubuntu24.04LTS自带opencv4.5代码实例 //opencv_example.cpp #include <opencv2/opencv.hpp> #include <iostream>int main() {// 读取图像cv::Mat img cv::imread("image.jpg", cv::IMREAD_COLOR);if (img.empty()) {std::cerr << "无法读…...

编程日记 2024/12/26 19:31:16

【项目构建】Gradle入门

本文适用&#xff1a; 不知道什么是项目构建&#xff0c;可以了解下Ant&#xff0c;Maven&#xff0c;Gradle的区别。知道什么是项目构建&#xff0c;了解Ant&#xff0c;Maven&#xff0c;可以看到Gradle是怎么做的。知道什么是项目构建&#xff0c;了解Ant&#xff0c;Maven&…...

编程日记 2024/12/26 19:20:01

Electron -- Electron应用主要核心（二）

Electron 应用主要由以下几个核心组成部分构成&#xff1a; 主进程&#xff08;Main Process&#xff09;&#xff1a; Electron 应用的入口点是主进程&#xff0c;通常是 main.js 文件。它负责管理应用的生命周期&#xff0c;包括创建窗口、处理系统事件和应用更新等。主进程可…...

编程日记 2024/12/26 19:09:50

【前端开发】HTML+CSS+JavaScript前端三剑客的基础知识体系了解

前言 &#x1f31f;&#x1f31f;本期讲解关于HTMLCSSJavaScript的基础知识&#xff0c;小编带领大家简单过一遍~~~ &#x1f308;感兴趣的小伙伴看一看小编主页&#xff1a;GGBondlctrl-CSDN博客 &#x1f525; 你的点赞就是小编不断更新的最大动力 …...

编程日记 2024/12/26 19:08:48

git命令恢复/还原某个文件、删除远程仓库中的文件

有时刚创建的远程仓库&#xff0c;可能无意中把一些没用的文件上传到仓库&#xff0c;本文介绍一下怎么删除这些文件。 一、git命令恢复某个文件 第一步&#xff1a;拉取最新代码 git pull 第二步&#xff1a; 查看git 修改的文件状态 git status 第三步&#xff1a;查看…...

编程日记 2024/12/26 19:06:46

二十一、Ingress 进阶实践

架构参考 使用hostnetwork，推荐的方式，使用单独的物理服务器，不部署业务pod的主机。 一、Ingress Nginx Controller 安装 采用helm的安装方式，进行部署。 官网地址： https://kubernetes.github.io/ingress-nginx/deploy/ github地址： https://github.com/kubernetes/in…...

编程日记 2024/12/26 19:05:41

ES学习Promise对象（九）

这里写目录标题 一、概念二、示例基本使用使用 Promise 对象封装Ajaxthen() 方法catch() 方法 一、概念 简单说就是一个容器&#xff0c;里面保存着某个未来才会结束的事件&#xff08;通常是一个异步操作&#xff09;的结果。Promise 是一个对象&#xff0c;Promise 提供统一…...

编程日记 2024/12/26 18:58:33

寻找适合小户型的开源知识库open source knowledge base之路

寻找一个开源的知识库&#xff0c;为了把以前花很多时间收集的信息或是项目/课程资料放到一个容易归类和管理的私有自主系统中&#xff0c;以便更容易查阅&#xff0c;花更少时间收集、对比版本及分享等一系列管理工作&#xff0c;同时确保在需要时可以相对快速找到有用的资料&…...

编程日记 2024/12/26 18:57:31

Linux高级--2.6 网络面试问题

tcp 与 udp的区别 1.tcp 是基于连接的 UDP是基于数据包 2.处理并发的方式不通 a.tcp用epoll进行监听的 b. udp是模拟tcp的连接过程&#xff0c;服务端开放一个IP端口&#xff0c;收到连接后&#xff0c;服务端用另一个IP和端口发包给客户端。 3.tcp根据协议MTU黏包及…...

编程日记 2024/12/26 18:55:27

在 CentOS 7 上安装 Node.js 20 并升级 GCC、make 和 glibc

在 CentOS 7 上安装 Node.js 20 并升级 GCC、make 和 glibc &#x1f4d6; 前言 在 CentOS 7 上使用 NVM 安装 Node.js 后&#xff0c;可能会遇到如下问题&#xff1a; node: /lib64/libm.so.6: version GLIBC_2.27’ not found (required by node) node: /lib64/libc.so.6:…...

编程日记 2024/12/26 18:54:24

音视频入门基础：MPEG2-TS专题（20）——ES流简介

《T-REC-H.222.0-202106-S!!PDF-E.pdf》第27页对ES进行了定义。ES流是PES packets&#xff08;PES包&#xff09;中编码的视频、编码的音频或其他编码的比特流。一个ES流&#xff08;elementary stream&#xff09;在具有且只有一个stream_id的PES packets序列中携带&#xff1…...

编程日记 2024/12/26 18:51:21

五子棋小游戏设计（Matlab）

基于Matlab的五子棋小游戏设计 &#xff08;完整源码运行呈现的GUI界面&#xff09; &#xff08;完整的设计说明报告&#xff09; 需要请随时联系博主&#xff0c;博主基本都在线&#xff0c;能秒回&#xff01; 随着计算机技术的发展&#xff0c;将传统棋类游戏与编程技术…...

编程日记 2024/12/26 18:49:16

基于Pycharm与数据库的新闻管理系统（3）MongoDB

pip3 install pymongo 1.连接到MongoDB数据库 文件地址&#xff1a;db/mongo_db.py 从 pymongo 模块中导入 MongoClient 类&#xff1b;创建 MongoClient 的一个实例&#xff0c;该实例尝试使用提供的MongoDB连接字符串连接到MongoDB服务器。 from pymongo import MongoClie…...

编程日记 2024/12/26 18:47:13

WebRtc webrtc-streamer部署

文章目录 本文档只是为了留档方便以后工作运维&#xff0c;或者给同事分享文档内容比较简陋命令也不是特别全&#xff0c;不适合小白观看&#xff0c;如有不懂可以私信&#xff0c;上班期间都是在得 WebRtc webrtc-streamer 部署 docker run -p 8000:8000 -it mpromonet/webrt…...

编程日记 2024/12/26 18:46:12

内存分配函数malloc kmalloc vmalloc

内存分配函数malloc kmalloc vmalloc malloc实现步骤： 1）请求大小调整：首先，malloc 需要调整用户请求的大小，以适应内部数据结构（例如，可能需要存储额外的元数据）。通常，这包括对齐调整，确保分配的内存地址满足特定硬件要求（如对齐到8字节或16字节边界）。 2）空闲…...

编程新知 2025/11/1 5:21:39

TDengine 快速体验（Docker 镜像方式）

简介 TDengine 可以通过安装包、Docker 镜像 及云服务快速体验 TDengine 的功能&#xff0c;本节首先介绍如何通过 Docker 快速体验 TDengine&#xff0c;然后介绍如何在 Docker 环境下体验 TDengine 的写入和查询功能。如果你不熟悉 Docker&#xff0c;请使用 安装包的方式快…...

编程新知 2026/2/8 20:41:53

Zustand 状态管理库：极简而强大的解决方案

Zustand 是一个轻量级、快速和可扩展的状态管理库&#xff0c;特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。 核心优势对比 基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...

编程新知 2026/2/8 10:56:57

以下是对华为 HarmonyOS NETX 5属性动画（ArkTS）文档的结构化整理，通过层级标题、表格和代码块提升可读性：

一、属性动画概述NETX 作用&#xff1a;实现组件通用属性的渐变过渡效果&#xff0c;提升用户体验。支持属性&#xff1a;width、height、backgroundColor、opacity、scale、rotate、translate等。注意事项&#xff1a; 布局类属性&#xff08;如宽高&#xff09;变化时&#…...

编程新知 2026/1/28 21:15:38

【ROS】Nav2源码之nav2_behavior_tree-行为树节点列表

1、行为树节点分类 在 Nav2（Navigation2）的行为树框架中，行为树节点插件按照功能分为 Action（动作节点）、Condition（条件节点）、Control（控制节点） 和 Decorator（装饰节点） 四类。 1.1 动作节点 Action 执行具体的机器人操作或任务，直接与硬件、传感器或外部系统…...

编程新知 2026/2/7 8:45:41

《通信之道——从微积分到 5G》读书总结

第1章 绪 论 1.1 这是一本什么样的书 通信技术&#xff0c;说到底就是数学。 那些最基础、最本质的部分。 1.2 什么是通信 通信 发送方 接收方 承载信息的信号 解调出其中承载的信息 信息在发送方那里被加工成信号&#xff08;调制&#xff09; 把信息从信号中抽取出来&am…...

编程新知 2026/2/7 11:01:56

用docker来安装部署freeswitch记录

今天刚才测试一个callcenter的项目&#xff0c;所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台 编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...

编程新知 2026/2/1 3:20:44

【论文阅读28】-CNN-BiLSTM-Attention-（2024）

本文把滑坡位移序列拆开、筛优质因子&#xff0c;再用 CNN-BiLSTM-Attention 来动态预测每个子序列&#xff0c;最后重构出总位移&#xff0c;预测效果超越传统模型。 文章目录 1 引言2 方法2.1 位移时间序列加性模型2.2 变分模态分解 (VMD) 具体步骤2.3.1 样本熵&#xff08;S…...

编程新知 2026/2/2 3:06:53

Selenium常用函数介绍

目录 一&#xff0c;元素定位 1.1 cssSeector 1.2 xpath 二&#xff0c;操作测试对象 三&#xff0c;窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四&#xff0c;弹窗 五&#xff0c;等待 六&#xff0c;导航 七&#xff0c;文件上传 …...

编程新知 2026/1/29 3:55:23

C# 表达式和运算符(求值顺序)

求值顺序 表达式可以由许多嵌套的子表达式构成。子表达式的求值顺序可以使表达式的最终值发生 变化。 例如&#xff0c;已知表达式3*52&#xff0c;依照子表达式的求值顺序&#xff0c;有两种可能的结果&#xff0c;如图9-3所示。 如果乘法先执行&#xff0c;结果是17。如果5…...

编程新知 2026/1/31 13:13:28