当前位置： 首页 > news >正文

数学建模——数据预处理

news 2025/9/17 12:16:37

在数学建模时，经常遇到数据的预处理，那么会有一些什么情况呢，跟着北海老师总结了他的内容~希望对大家有所帮助！

缺失值

  • 比赛提供的数据，发现有些单元格是null或空的
  • 缺失太多:例如调查人口信息，发现“年龄”这一项缺失了40%，就直接把该项指标删除
  • 最简单处理:均值、众数插补
  • 定量数据，例如关于一群人的身高、年龄等数据，用整体的均值来补缺失
  • 定性数据，例如关于一群人的性别、文化程度: 某些事件调查的满意度，用出现次数最多的值补缺失。
  • 适用赛题:人口的数量年龄、经济产业情况等统计数据，对个体精度要求不大的数据
  • Newton插值法
  • 根据固定公式，构造近似函数，补上缺失值，普遍适用性强
  • 缺点:区间边缘处的不稳定震荡，即龙格现象。
  • 不适合对导数有要求的题目适用赛题:热力学温度、地形测量、定位等只追求函数值精准而不关心变化的数据
  •  样条插值法
  • 用分段光滑的曲线去插值，光滑意味着曲线不仅连续，还要有连续的曲率
  • 适用赛题:零件加工，水库水流量，图像“基线漂移”机器人轨迹等精度要求高、没有突变的数据

异常值

  • 样本中明显和其他数值差异很大的数据，例如一群人的身高数据中有个3米2的
  • 正态分布3o原则
  • 数值分布在 (u-3q,u+3a)中的概率为99.73%，其中川为平均值，为标准差求解步骤: 1.计算均值和标准差;2.判断每个数据值是否在(-3，u+3)内，不在则为异常值
  • 适用题目:总体符合正态分布，例如人口数据、测量误差、生产加工质量、考试成绩等
  • 不适用题目: 总体符合其他分布，例如公交站人数排队论符合泊松分布
  • 画箱型图：
  • 上四分位数Qx是排第75%的数值箱型图中，把数据从小到大排序。下四分位数Q1是排第25%的数值
  • 四分位距IQR = Q3- Q1，也就是排名第75%的减去第25%的数值
  • 与正态分布类似，设置个合理区间，在区间外的就是异常值
  • 一般设[Q1-1.5*IQR，Q3 +1.5*IQR]内为正常值
  • 适用题目：普通适用
  •  找到异常后，处理方法与处理缺失值相同

 

相关文章：

数学建模——数据预处理

在数学建模时，经常遇到数据的预处理，那么会有一些什么情况呢，跟着北海老师总结了他的内容~希望对大家有所帮助！ 缺失值 比赛提供的数据，发现有些单元格是null或空的缺失太多:例如调查人口信息，发现“年龄…...

编程日记 2023/4/27 20:27:34

第8章：树

1.树是什么 一种分层数据的抽象模型前端工作中常见的树包括：DOM树，级联选择(省市区)，树形控件，…javascript中没有树，但是可以用Object和Array构建树 4.树的常用操作：深度/广度优先遍历，先中后…...

编程日记 2023/4/27 20:22:32

Java基础学习（10）

Java基础学习 一、JDK8时间类1.1 Zoneld时区1.2 Instant时间戳1.3 ZonedDateTime1.4 DateTimeFormatter1.5 日历类时间表示1.6 工具类1.7 包装类JDK5提出的新特性Integer成员方法 二、集合进阶2.1 集合的体系结构2.1.1 Collection 2.2collection的遍历方式2.2.1 迭代器遍历2.2.…...

编程日记 2023/4/27 20:17:31

Tomcat多实例部署实验

引言 本文主要内容是tomcat的多实例配置实验。 一、实验准备 Tomcat多实例是指在一台设备上运行多个Tomcat服务，这些Tomcat相互独立，互不影响。多实例与虚拟主机不同，虚拟主机的本质是在一个服务下有多个相对独立的目录，但是多实…...

编程日记 2023/4/27 20:12:29

无良公司把我从上家挖过来，白嫖了六个月，临近试用期结束才说不合适，催我赶紧找下家！...

职场套路多，一不小心就会掉坑，一位网友讲述了自己的遭遇： 今天被领导催促离职了，当时就是这个领导把他从别的公司挖过来。这家公司催得太急，为了投奔这里，他和上家的HR都闹翻了，上家总监挽留他&…...

编程日记 2023/4/27 20:07:28

忙碌中也要记得休息，这两款好玩的游戏推荐给你

第一款：古墓丽影9年度版 《古墓丽影9》（原名Tomb Raider）是由水晶动力开发，史克威尔艾尼克斯发行的动作冒险游戏。 它于 2013 年发布。续集是古墓丽影崛起和古墓丽影暗影。 本作的重点是新版劳拉（Lara Croft&#xf…...

编程日记 2023/4/27 20:02:27

四种方法可以实现判断字符串包含某个字符

小编介绍过js中使用indexOf() 方法判断字符串包含某个字是一个很好用的方法，但除了这个方法之外，JavaScript中还有四种方法可以实现判断字符串包含某个字符： 1、使用字符串search() 方法 search() 方法用于检索字符串中指定的子字符串&…...

编程日记 2023/4/27 19:57:26

ubuntu进程相关command

列出当前系统中所有正在运行的进程的详细信息 ps aux查看所有包含某关键字的进程 例：查看所有包含关键字click的进程 ps aux | grep click运行后显示如下信息： root 8998 0.0 0.0 10984 4052 ? S 4月23 0:00 sudo ./bin/click…...

编程日记 2023/4/27 19:52:25

7.参数校验

在controller和service进行前端传参校验&#xff0c;保证存到数据库的数据是正确的 1.引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-validation</artifactId></dependency>这里无需…...

编程日记 2023/4/27 19:47:23

nginx简单介绍

文章目录 1. 下载并解压2. 80端口被占用&#xff0c;更改nginx默认的监听端口3. 访问nginx4. 在linux上安装nginx5. nginx常用命令6. nginx.conf 1. 下载并解压 官网下载 2. 80端口被占用&#xff0c;更改nginx默认的监听端口 更改conf/nginx.conf文件 3. 访问nginx ht…...

编程日记 2023/4/27 19:42:22

美创科技首届渠道高峰论坛｜ 两大分论坛亮点汇聚

4月22日&#xff0c;美创科技首届渠道高峰论坛在海南三亚隆重举行&#xff0c;本届高峰论坛以“新起点 新战略 共赢数安蓝海”为主题&#xff0c;全国各地200余家合作伙伴齐聚。当日下午&#xff0c;行业分论坛、技术分论坛两大论坛以及圆桌会议&#xff0c;多方视角、全方位共…...

编程日记 2023/4/27 19:37:21

QML中【预计符号】和【Unknown Component M300】的红色警告解决方法

问题描述&#xff1a; QML的项目中带中文&#xff0c;每次打开项目都在问题栏显示【预计符号】的红色警告&#xff0c;还有一种是【Unknown Component M300】的警告&#xff0c;代码能正常编译和运行。像我这样对代码追求优雅的强迫症患者看着很不爽&#xff0c;查了很多网上的…...

编程日记 2023/4/27 19:32:20

聊聊「低代码」的实践之路

区块链、低代码、元宇宙、AI智能&#xff1b; 01 【先来说说背景】 这个概念由来已久&#xff0c;但是在国内兴起&#xff0c;是最近几年&#xff1b; 低代码即「Low-Code」&#xff1b; 指提供可视化开发环境&#xff0c;可以用来创建和管理软件应用&#xff1b; 简单的说…...

编程日记 2023/4/27 19:27:19

（一）服务发现组件 Eureka

1、Eureka 简介 Eureka 是Spring Cloud Netflix 微服务套件中的一部分&#xff0c; 它基于Netflix Eureka 做了二次封装&#xff0c; 主要负责完成微服务架构中的服务治理功能。我们只需通过简单引入依赖和注解配置就能让Spring Boot 构建的微服务应用轻松地与Eureka 服务治理…...

编程日记 2023/4/27 19:22:18

学会笔记本电脑录屏快捷键，轻松实现录屏！

案例&#xff1a;笔记本电脑录屏有快捷键吗&#xff1f; 【我每次打开笔记本电脑录屏都要耗费比较长的时间&#xff0c;这样会影响到我录屏的效率。在这里想问一下&#xff0c;有没有快速打开电脑录屏的方法&#xff1f;】 在日常的工作、学习、娱乐中&#xff0c;我们经常需…...

编程日记 2023/4/27 19:17:17

( “树” 之 Trie) 208. 实现 Trie (前缀树) ——【Leetcode每日一题】

知识点回顾 &#xff1a; Trie&#xff0c;又称前缀树或字典树&#xff0c;用于判断字符串是否存在或者是否具有某种字符串前缀。 ❓208. 实现 Trie (前缀树) 难度&#xff1a;中等 Trie&#xff08;发音类似 “try”&#xff09;或者说 前缀树 是一种树形数据结构&#xff…...

编程日记 2023/4/27 19:12:10

算法训练Day40:343. 整数拆分 96.不同的二叉搜索树

文章目录 整数拆分题解&#xff08;动态规划&#xff09;贪心 不同的二叉搜索树题解 整数拆分 CategoryDifficultyLikesDislikesContestSlugProblemIndexScorealgorithmsMedium (62.22%)11660--0 Tags 数学 | 动态规划 Companies 给定一个正整数 n &#xff0c;将其拆分为…...

编程日记 2023/4/27 19:07:09

设计模式及代码

1、工厂方法模式&#xff08;Factory Method Pattern&#xff09;&#xff1a; 定义一个用于创建对象的接口&#xff0c;让子类决定实例化哪一个类。应用场景&#xff1a;当一个类不知道它所必须创建的对象的类时&#xff1b;一个类希望由它的子类来指定它所创建的对象时。 抽…...

编程日记 2023/4/27 19:02:08

9.java程序员必知必会类库之加密库

前言 密码学在计算机领域源远流长&#xff0c;应用广泛。当前每时每刻&#xff0c;每一个连接到互联网的终端&#xff0c;手机&#xff0c;电脑&#xff0c;iPad都会和互联网有无数次的数据交互&#xff0c;如果这些数据都是明文传输那将是难以想象的。为了保护用户隐私&#…...

编程日记 2023/4/27 18:57:07

C技能树：for循环：九九乘法表

使用for循环&#xff0c;打印九九乘法表。下列四个选项中有一项无法实现该功能&#xff0c;请找出该错误选项。 #include <stdio.h> int main(int argc, char** argv) {int i 0;int j 0;(_____1_____)return 0; } int row 0; int col 0; for(i 0; i < 8…...

编程日记 2023/4/27 18:52:06

逻辑回归：给不确定性划界的分类大师

想象你是一名医生。面对患者的检查报告&#xff08;肿瘤大小、血液指标&#xff09;&#xff0c;你需要做出一个**决定性判断**&#xff1a;恶性还是良性&#xff1f;这种“非黑即白”的抉择&#xff0c;正是**逻辑回归&#xff08;Logistic Regression&#xff09;** 的战场&a…...

编程新知 2025/8/18 10:21:48

AI Agent与Agentic AI：原理、应用、挑战与未来展望

文章目录 一、引言二、AI Agent与Agentic AI的兴起2.1 技术契机与生态成熟2.2 Agent的定义与特征2.3 Agent的发展历程 三、AI Agent的核心技术栈解密3.1 感知模块代码示例&#xff1a;使用Python和OpenCV进行图像识别 3.2 认知与决策模块代码示例&#xff1a;使用OpenAI GPT-3进…...

编程新知 2025/9/13 17:48:42

cf2117E

原题链接&#xff1a;https://codeforces.com/contest/2117/problem/E 题目背景&#xff1a; 给定两个数组a,b&#xff0c;可以执行多次以下操作&#xff1a;选择 i (1 < i < n - 1)&#xff0c;并设置 或&#xff0c;也可以在执行上述操作前执行一次删除任意 和 。求…...

编程新知 2025/9/7 1:36:13

C# 表达式和运算符(求值顺序)

求值顺序 表达式可以由许多嵌套的子表达式构成。子表达式的求值顺序可以使表达式的最终值发生 变化。 例如&#xff0c;已知表达式3*52&#xff0c;依照子表达式的求值顺序&#xff0c;有两种可能的结果&#xff0c;如图9-3所示。 如果乘法先执行&#xff0c;结果是17。如果5…...

编程新知 2025/9/15 23:02:52

第7篇：中间件全链路监控与 SQL 性能分析实践

7.1 章节导读 在构建数据库中间件的过程中&#xff0c;可观测性 和 性能分析 是保障系统稳定性与可维护性的核心能力。 特别是在复杂分布式场景中&#xff0c;必须做到&#xff1a; &#x1f50d; 追踪每一条 SQL 的生命周期&#xff08;从入口到数据库执行&#xff09;&#…...

编程新知 2025/8/8 6:07:28

【Linux系统】Linux环境变量：系统配置的隐形指挥官

。# Linux系列 文章目录 前言一、环境变量的概念二、常见的环境变量三、环境变量特点及其相关指令3.1 环境变量的全局性3.2、环境变量的生命周期 四、环境变量的组织方式五、C语言对环境变量的操作5.1 设置环境变量&#xff1a;setenv5.2 删除环境变量:unsetenv5.3 遍历所有环境…...

编程新知 2025/9/3 18:06:27

脑机新手指南（七）：OpenBCI_GUI：从环境搭建到数据可视化（上）

一、OpenBCI_GUI 项目概述 &#xff08;一&#xff09;项目背景与目标 OpenBCI 是一个开源的脑电信号采集硬件平台&#xff0c;其配套的 OpenBCI_GUI 则是专为该硬件设计的图形化界面工具。对于研究人员、开发者和学生而言&#xff0c;首次接触 OpenBCI 设备时&#xff0c;往…...

编程新知 2025/9/2 16:55:16

论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing

Muffin 论文 现有方法 CRADLE 和 LEMON&#xff0c;依赖模型推理阶段输出进行差分测试&#xff0c;但在训练阶段是不可行的&#xff0c;因为训练阶段直到最后才有固定输出&#xff0c;中间过程是不断变化的。API 库覆盖低&#xff0c;因为各个 API 都是在各种具体场景下使用。…...

编程新知 2025/9/7 8:50:08

【C++】纯虚函数类外可以写实现吗？

1. 答案 先说答案&#xff0c;可以。 2.代码测试 .h头文件 #include <iostream> #include <string>// 抽象基类 class AbstractBase { public:AbstractBase() default;virtual ~AbstractBase() default; // 默认析构函数public:virtual int PureVirtualFunct…...

编程新知 2025/9/9 10:08:11

热烈祝贺埃文科技正式加入可信数据空间发展联盟

2025年4月29日&#xff0c;在福州举办的第八届数字中国建设峰会“可信数据空间分论坛”上&#xff0c;可信数据空间发展联盟正式宣告成立。国家数据局党组书记、局长刘烈宏出席并致辞&#xff0c;强调该联盟是推进全国一体化数据市场建设的关键抓手。 郑州埃文科技有限公司&am…...

编程新知 2025/9/11 8:24:28