当前位置： 首页 > news >正文

数学建模——数据预处理

news 2025/12/23 0:05:55

在数学建模时，经常遇到数据的预处理，那么会有一些什么情况呢，跟着北海老师总结了他的内容~希望对大家有所帮助！

缺失值

  • 比赛提供的数据，发现有些单元格是null或空的
  • 缺失太多:例如调查人口信息，发现“年龄”这一项缺失了40%，就直接把该项指标删除
  • 最简单处理:均值、众数插补
  • 定量数据，例如关于一群人的身高、年龄等数据，用整体的均值来补缺失
  • 定性数据，例如关于一群人的性别、文化程度: 某些事件调查的满意度，用出现次数最多的值补缺失。
  • 适用赛题:人口的数量年龄、经济产业情况等统计数据，对个体精度要求不大的数据
  • Newton插值法
  • 根据固定公式，构造近似函数，补上缺失值，普遍适用性强
  • 缺点:区间边缘处的不稳定震荡，即龙格现象。
  • 不适合对导数有要求的题目适用赛题:热力学温度、地形测量、定位等只追求函数值精准而不关心变化的数据
  •  样条插值法
  • 用分段光滑的曲线去插值，光滑意味着曲线不仅连续，还要有连续的曲率
  • 适用赛题:零件加工，水库水流量，图像“基线漂移”机器人轨迹等精度要求高、没有突变的数据

异常值

  • 样本中明显和其他数值差异很大的数据，例如一群人的身高数据中有个3米2的
  • 正态分布3o原则
  • 数值分布在 (u-3q,u+3a)中的概率为99.73%，其中川为平均值，为标准差求解步骤: 1.计算均值和标准差;2.判断每个数据值是否在(-3，u+3)内，不在则为异常值
  • 适用题目:总体符合正态分布，例如人口数据、测量误差、生产加工质量、考试成绩等
  • 不适用题目: 总体符合其他分布，例如公交站人数排队论符合泊松分布
  • 画箱型图：
  • 上四分位数Qx是排第75%的数值箱型图中，把数据从小到大排序。下四分位数Q1是排第25%的数值
  • 四分位距IQR = Q3- Q1，也就是排名第75%的减去第25%的数值
  • 与正态分布类似，设置个合理区间，在区间外的就是异常值
  • 一般设[Q1-1.5*IQR，Q3 +1.5*IQR]内为正常值
  • 适用题目：普通适用
  •  找到异常后，处理方法与处理缺失值相同

 

相关文章：

数学建模——数据预处理

在数学建模时，经常遇到数据的预处理，那么会有一些什么情况呢，跟着北海老师总结了他的内容~希望对大家有所帮助！ 缺失值 比赛提供的数据，发现有些单元格是null或空的缺失太多:例如调查人口信息，发现“年龄…...

编程日记 2023/4/27 20:27:34

第8章：树

1.树是什么 一种分层数据的抽象模型前端工作中常见的树包括：DOM树，级联选择(省市区)，树形控件，…javascript中没有树，但是可以用Object和Array构建树 4.树的常用操作：深度/广度优先遍历，先中后…...

编程日记 2023/4/27 20:22:32

Java基础学习（10）

Java基础学习 一、JDK8时间类1.1 Zoneld时区1.2 Instant时间戳1.3 ZonedDateTime1.4 DateTimeFormatter1.5 日历类时间表示1.6 工具类1.7 包装类JDK5提出的新特性Integer成员方法 二、集合进阶2.1 集合的体系结构2.1.1 Collection 2.2collection的遍历方式2.2.1 迭代器遍历2.2.…...

编程日记 2023/4/27 20:17:31

Tomcat多实例部署实验

引言 本文主要内容是tomcat的多实例配置实验。 一、实验准备 Tomcat多实例是指在一台设备上运行多个Tomcat服务，这些Tomcat相互独立，互不影响。多实例与虚拟主机不同，虚拟主机的本质是在一个服务下有多个相对独立的目录，但是多实…...

编程日记 2023/4/27 20:12:29

无良公司把我从上家挖过来，白嫖了六个月，临近试用期结束才说不合适，催我赶紧找下家！...

职场套路多，一不小心就会掉坑，一位网友讲述了自己的遭遇： 今天被领导催促离职了，当时就是这个领导把他从别的公司挖过来。这家公司催得太急，为了投奔这里，他和上家的HR都闹翻了，上家总监挽留他&…...

编程日记 2023/4/27 20:07:28

忙碌中也要记得休息，这两款好玩的游戏推荐给你

第一款：古墓丽影9年度版 《古墓丽影9》（原名Tomb Raider）是由水晶动力开发，史克威尔艾尼克斯发行的动作冒险游戏。 它于 2013 年发布。续集是古墓丽影崛起和古墓丽影暗影。 本作的重点是新版劳拉（Lara Croft&#xf…...

编程日记 2023/4/27 20:02:27

四种方法可以实现判断字符串包含某个字符

小编介绍过js中使用indexOf() 方法判断字符串包含某个字是一个很好用的方法，但除了这个方法之外，JavaScript中还有四种方法可以实现判断字符串包含某个字符： 1、使用字符串search() 方法 search() 方法用于检索字符串中指定的子字符串&…...

编程日记 2023/4/27 19:57:26

ubuntu进程相关command

列出当前系统中所有正在运行的进程的详细信息 ps aux查看所有包含某关键字的进程 例：查看所有包含关键字click的进程 ps aux | grep click运行后显示如下信息： root 8998 0.0 0.0 10984 4052 ? S 4月23 0:00 sudo ./bin/click…...

编程日记 2023/4/27 19:52:25

7.参数校验

在controller和service进行前端传参校验&#xff0c;保证存到数据库的数据是正确的 1.引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-validation</artifactId></dependency>这里无需…...

编程日记 2023/4/27 19:47:23

nginx简单介绍

文章目录 1. 下载并解压2. 80端口被占用&#xff0c;更改nginx默认的监听端口3. 访问nginx4. 在linux上安装nginx5. nginx常用命令6. nginx.conf 1. 下载并解压 官网下载 2. 80端口被占用&#xff0c;更改nginx默认的监听端口 更改conf/nginx.conf文件 3. 访问nginx ht…...

编程日记 2023/4/27 19:42:22

美创科技首届渠道高峰论坛｜ 两大分论坛亮点汇聚

4月22日&#xff0c;美创科技首届渠道高峰论坛在海南三亚隆重举行&#xff0c;本届高峰论坛以“新起点 新战略 共赢数安蓝海”为主题&#xff0c;全国各地200余家合作伙伴齐聚。当日下午&#xff0c;行业分论坛、技术分论坛两大论坛以及圆桌会议&#xff0c;多方视角、全方位共…...

编程日记 2023/4/27 19:37:21

QML中【预计符号】和【Unknown Component M300】的红色警告解决方法

问题描述&#xff1a; QML的项目中带中文&#xff0c;每次打开项目都在问题栏显示【预计符号】的红色警告&#xff0c;还有一种是【Unknown Component M300】的警告&#xff0c;代码能正常编译和运行。像我这样对代码追求优雅的强迫症患者看着很不爽&#xff0c;查了很多网上的…...

编程日记 2023/4/27 19:32:20

聊聊「低代码」的实践之路

区块链、低代码、元宇宙、AI智能&#xff1b; 01 【先来说说背景】 这个概念由来已久&#xff0c;但是在国内兴起&#xff0c;是最近几年&#xff1b; 低代码即「Low-Code」&#xff1b; 指提供可视化开发环境&#xff0c;可以用来创建和管理软件应用&#xff1b; 简单的说…...

编程日记 2023/4/27 19:27:19

（一）服务发现组件 Eureka

1、Eureka 简介 Eureka 是Spring Cloud Netflix 微服务套件中的一部分&#xff0c; 它基于Netflix Eureka 做了二次封装&#xff0c; 主要负责完成微服务架构中的服务治理功能。我们只需通过简单引入依赖和注解配置就能让Spring Boot 构建的微服务应用轻松地与Eureka 服务治理…...

编程日记 2023/4/27 19:22:18

学会笔记本电脑录屏快捷键，轻松实现录屏！

案例&#xff1a;笔记本电脑录屏有快捷键吗&#xff1f; 【我每次打开笔记本电脑录屏都要耗费比较长的时间&#xff0c;这样会影响到我录屏的效率。在这里想问一下&#xff0c;有没有快速打开电脑录屏的方法&#xff1f;】 在日常的工作、学习、娱乐中&#xff0c;我们经常需…...

编程日记 2023/4/27 19:17:17

( “树” 之 Trie) 208. 实现 Trie (前缀树) ——【Leetcode每日一题】

知识点回顾 &#xff1a; Trie&#xff0c;又称前缀树或字典树&#xff0c;用于判断字符串是否存在或者是否具有某种字符串前缀。 ❓208. 实现 Trie (前缀树) 难度&#xff1a;中等 Trie&#xff08;发音类似 “try”&#xff09;或者说 前缀树 是一种树形数据结构&#xff…...

编程日记 2023/4/27 19:12:10

算法训练Day40:343. 整数拆分 96.不同的二叉搜索树

文章目录 整数拆分题解&#xff08;动态规划&#xff09;贪心 不同的二叉搜索树题解 整数拆分 CategoryDifficultyLikesDislikesContestSlugProblemIndexScorealgorithmsMedium (62.22%)11660--0 Tags 数学 | 动态规划 Companies 给定一个正整数 n &#xff0c;将其拆分为…...

编程日记 2023/4/27 19:07:09

设计模式及代码

1、工厂方法模式&#xff08;Factory Method Pattern&#xff09;&#xff1a; 定义一个用于创建对象的接口&#xff0c;让子类决定实例化哪一个类。应用场景&#xff1a;当一个类不知道它所必须创建的对象的类时&#xff1b;一个类希望由它的子类来指定它所创建的对象时。 抽…...

编程日记 2023/4/27 19:02:08

9.java程序员必知必会类库之加密库

前言 密码学在计算机领域源远流长&#xff0c;应用广泛。当前每时每刻&#xff0c;每一个连接到互联网的终端&#xff0c;手机&#xff0c;电脑&#xff0c;iPad都会和互联网有无数次的数据交互&#xff0c;如果这些数据都是明文传输那将是难以想象的。为了保护用户隐私&#…...

编程日记 2023/4/27 18:57:07

C技能树：for循环：九九乘法表

使用for循环&#xff0c;打印九九乘法表。下列四个选项中有一项无法实现该功能&#xff0c;请找出该错误选项。 #include <stdio.h> int main(int argc, char** argv) {int i 0;int j 0;(_____1_____)return 0; } int row 0; int col 0; for(i 0; i < 8…...

编程日记 2023/4/27 18:52:06

【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…...

编程新知 2025/12/22 21:32:41

在软件开发中正确使用MySQL日期时间类型的深度解析

在日常软件开发场景中&#xff0c;时间信息的存储是底层且核心的需求。从金融交易的精确记账时间、用户操作的行为日志&#xff0c;到供应链系统的物流节点时间戳&#xff0c;时间数据的准确性直接决定业务逻辑的可靠性。MySQL作为主流关系型数据库&#xff0c;其日期时间类型的…...

编程新知 2025/10/16 13:22:06

golang循环变量捕获问题​​

在 Go 语言中&#xff0c;当在循环中启动协程&#xff08;goroutine&#xff09;时&#xff0c;如果在协程闭包中直接引用循环变量&#xff0c;可能会遇到一个常见的陷阱 - ​​循环变量捕获问题​​。让我详细解释一下&#xff1a; 问题背景 看这个代码片段&#xff1a; fo…...

编程新知 2025/7/5 11:03:11

【力扣数据库知识手册笔记】索引

索引 索引的优缺点 优点1. 通过创建唯一性索引&#xff0c;可以保证数据库表中每一行数据的唯一性。2. 可以加快数据的检索速度&#xff08;创建索引的主要原因&#xff09;。3. 可以加速表和表之间的连接&#xff0c;实现数据的参考完整性。4. 可以在查询过程中&#xff0c;…...

编程新知 2025/12/17 22:48:09

postgresql|数据库|只读用户的创建和删除（备忘）

CREATE USER read_only WITH PASSWORD 密码 -- 连接到xxx数据库 \c xxx -- 授予对xxx数据库的只读权限 GRANT CONNECT ON DATABASE xxx TO read_only; GRANT USAGE ON SCHEMA public TO read_only; GRANT SELECT ON ALL TABLES IN SCHEMA public TO read_only; GRANT EXECUTE O…...

编程新知 2025/9/18 19:34:22

Keil 中设置 STM32 Flash 和 RAM 地址详解

文章目录 Keil 中设置 STM32 Flash 和 RAM 地址详解一、Flash 和 RAM 配置界面（Target 选项卡）1. IROM1（用于配置 Flash）2. IRAM1（用于配置 RAM）二、链接器设置界面（Linker 选项卡）1. 勾选“Use Memory Layout from Target Dialog”2. 查看链接器参数（如果没有勾选上面…...

编程新知 2025/12/14 22:06:49

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

编程新知 2025/12/9 4:36:55

Spring数据访问模块设计

前面我们已经完成了IoC和web模块的设计&#xff0c;聪明的码友立马就知道了&#xff0c;该到数据访问模块了&#xff0c;要不就这俩玩个6啊&#xff0c;查库势在必行&#xff0c;至此&#xff0c;它来了。 一、核心设计理念 1、痛点在哪 应用离不开数据&#xff08;数据库、No…...

编程新知 2025/12/22 11:25:38

以光量子为例，详解量子获取方式

光量子技术获取量子比特可在室温下进行。该方式有望通过与名为硅光子学&#xff08;silicon photonics&#xff09;的光波导&#xff08;optical waveguide&#xff09;芯片制造技术和光纤等光通信技术相结合来实现量子计算机。量子力学中&#xff0c;光既是波又是粒子。光子本…...

编程新知 2025/12/13 17:01:29

iOS性能调优实战：借助克魔(KeyMob)与常用工具深度洞察App瓶颈

在日常iOS开发过程中&#xff0c;性能问题往往是最令人头疼的一类Bug。尤其是在App上线前的压测阶段或是处理用户反馈的高发期&#xff0c;开发者往往需要面对卡顿、崩溃、能耗异常、日志混乱等一系列问题。这些问题表面上看似偶发&#xff0c;但背后往往隐藏着系统资源调度不当…...

编程新知 2025/9/24 12:50:07