当前位置： 首页 > news >正文

数学建模——数据预处理

news 2026/4/2 10:00:05

在数学建模时，经常遇到数据的预处理，那么会有一些什么情况呢，跟着北海老师总结了他的内容~希望对大家有所帮助！

缺失值

  • 比赛提供的数据，发现有些单元格是null或空的
  • 缺失太多:例如调查人口信息，发现“年龄”这一项缺失了40%，就直接把该项指标删除
  • 最简单处理:均值、众数插补
  • 定量数据，例如关于一群人的身高、年龄等数据，用整体的均值来补缺失
  • 定性数据，例如关于一群人的性别、文化程度: 某些事件调查的满意度，用出现次数最多的值补缺失。
  • 适用赛题:人口的数量年龄、经济产业情况等统计数据，对个体精度要求不大的数据
  • Newton插值法
  • 根据固定公式，构造近似函数，补上缺失值，普遍适用性强
  • 缺点:区间边缘处的不稳定震荡，即龙格现象。
  • 不适合对导数有要求的题目适用赛题:热力学温度、地形测量、定位等只追求函数值精准而不关心变化的数据
  •  样条插值法
  • 用分段光滑的曲线去插值，光滑意味着曲线不仅连续，还要有连续的曲率
  • 适用赛题:零件加工，水库水流量，图像“基线漂移”机器人轨迹等精度要求高、没有突变的数据

异常值

  • 样本中明显和其他数值差异很大的数据，例如一群人的身高数据中有个3米2的
  • 正态分布3o原则
  • 数值分布在 (u-3q,u+3a)中的概率为99.73%，其中川为平均值，为标准差求解步骤: 1.计算均值和标准差;2.判断每个数据值是否在(-3，u+3)内，不在则为异常值
  • 适用题目:总体符合正态分布，例如人口数据、测量误差、生产加工质量、考试成绩等
  • 不适用题目: 总体符合其他分布，例如公交站人数排队论符合泊松分布
  • 画箱型图：
  • 上四分位数Qx是排第75%的数值箱型图中，把数据从小到大排序。下四分位数Q1是排第25%的数值
  • 四分位距IQR = Q3- Q1，也就是排名第75%的减去第25%的数值
  • 与正态分布类似，设置个合理区间，在区间外的就是异常值
  • 一般设[Q1-1.5*IQR，Q3 +1.5*IQR]内为正常值
  • 适用题目：普通适用
  •  找到异常后，处理方法与处理缺失值相同

 

相关文章：

数学建模——数据预处理

在数学建模时，经常遇到数据的预处理，那么会有一些什么情况呢，跟着北海老师总结了他的内容~希望对大家有所帮助！ 缺失值 比赛提供的数据，发现有些单元格是null或空的缺失太多:例如调查人口信息，发现“年龄…...

编程日记 2023/4/27 20:27:34

第8章：树

1.树是什么 一种分层数据的抽象模型前端工作中常见的树包括：DOM树，级联选择(省市区)，树形控件，…javascript中没有树，但是可以用Object和Array构建树 4.树的常用操作：深度/广度优先遍历，先中后…...

编程日记 2023/4/27 20:22:32

Java基础学习（10）

Java基础学习 一、JDK8时间类1.1 Zoneld时区1.2 Instant时间戳1.3 ZonedDateTime1.4 DateTimeFormatter1.5 日历类时间表示1.6 工具类1.7 包装类JDK5提出的新特性Integer成员方法 二、集合进阶2.1 集合的体系结构2.1.1 Collection 2.2collection的遍历方式2.2.1 迭代器遍历2.2.…...

编程日记 2023/4/27 20:17:31

Tomcat多实例部署实验

引言 本文主要内容是tomcat的多实例配置实验。 一、实验准备 Tomcat多实例是指在一台设备上运行多个Tomcat服务，这些Tomcat相互独立，互不影响。多实例与虚拟主机不同，虚拟主机的本质是在一个服务下有多个相对独立的目录，但是多实…...

编程日记 2023/4/27 20:12:29

无良公司把我从上家挖过来，白嫖了六个月，临近试用期结束才说不合适，催我赶紧找下家！...

职场套路多，一不小心就会掉坑，一位网友讲述了自己的遭遇： 今天被领导催促离职了，当时就是这个领导把他从别的公司挖过来。这家公司催得太急，为了投奔这里，他和上家的HR都闹翻了，上家总监挽留他&…...

编程日记 2023/4/27 20:07:28

忙碌中也要记得休息，这两款好玩的游戏推荐给你

第一款：古墓丽影9年度版 《古墓丽影9》（原名Tomb Raider）是由水晶动力开发，史克威尔艾尼克斯发行的动作冒险游戏。 它于 2013 年发布。续集是古墓丽影崛起和古墓丽影暗影。 本作的重点是新版劳拉（Lara Croft&#xf…...

编程日记 2023/4/27 20:02:27

四种方法可以实现判断字符串包含某个字符

小编介绍过js中使用indexOf() 方法判断字符串包含某个字是一个很好用的方法，但除了这个方法之外，JavaScript中还有四种方法可以实现判断字符串包含某个字符： 1、使用字符串search() 方法 search() 方法用于检索字符串中指定的子字符串&…...

编程日记 2023/4/27 19:57:26

ubuntu进程相关command

列出当前系统中所有正在运行的进程的详细信息 ps aux查看所有包含某关键字的进程 例：查看所有包含关键字click的进程 ps aux | grep click运行后显示如下信息： root 8998 0.0 0.0 10984 4052 ? S 4月23 0:00 sudo ./bin/click…...

编程日记 2023/4/27 19:52:25

7.参数校验

在controller和service进行前端传参校验&#xff0c;保证存到数据库的数据是正确的 1.引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-validation</artifactId></dependency>这里无需…...

编程日记 2023/4/27 19:47:23

nginx简单介绍

文章目录 1. 下载并解压2. 80端口被占用&#xff0c;更改nginx默认的监听端口3. 访问nginx4. 在linux上安装nginx5. nginx常用命令6. nginx.conf 1. 下载并解压 官网下载 2. 80端口被占用&#xff0c;更改nginx默认的监听端口 更改conf/nginx.conf文件 3. 访问nginx ht…...

编程日记 2023/4/27 19:42:22

美创科技首届渠道高峰论坛｜ 两大分论坛亮点汇聚

4月22日&#xff0c;美创科技首届渠道高峰论坛在海南三亚隆重举行&#xff0c;本届高峰论坛以“新起点 新战略 共赢数安蓝海”为主题&#xff0c;全国各地200余家合作伙伴齐聚。当日下午&#xff0c;行业分论坛、技术分论坛两大论坛以及圆桌会议&#xff0c;多方视角、全方位共…...

编程日记 2023/4/27 19:37:21

QML中【预计符号】和【Unknown Component M300】的红色警告解决方法

问题描述&#xff1a; QML的项目中带中文&#xff0c;每次打开项目都在问题栏显示【预计符号】的红色警告&#xff0c;还有一种是【Unknown Component M300】的警告&#xff0c;代码能正常编译和运行。像我这样对代码追求优雅的强迫症患者看着很不爽&#xff0c;查了很多网上的…...

编程日记 2023/4/27 19:32:20

聊聊「低代码」的实践之路

区块链、低代码、元宇宙、AI智能&#xff1b; 01 【先来说说背景】 这个概念由来已久&#xff0c;但是在国内兴起&#xff0c;是最近几年&#xff1b; 低代码即「Low-Code」&#xff1b; 指提供可视化开发环境&#xff0c;可以用来创建和管理软件应用&#xff1b; 简单的说…...

编程日记 2023/4/27 19:27:19

（一）服务发现组件 Eureka

1、Eureka 简介 Eureka 是Spring Cloud Netflix 微服务套件中的一部分&#xff0c; 它基于Netflix Eureka 做了二次封装&#xff0c; 主要负责完成微服务架构中的服务治理功能。我们只需通过简单引入依赖和注解配置就能让Spring Boot 构建的微服务应用轻松地与Eureka 服务治理…...

编程日记 2023/4/27 19:22:18

学会笔记本电脑录屏快捷键，轻松实现录屏！

案例&#xff1a;笔记本电脑录屏有快捷键吗&#xff1f; 【我每次打开笔记本电脑录屏都要耗费比较长的时间&#xff0c;这样会影响到我录屏的效率。在这里想问一下&#xff0c;有没有快速打开电脑录屏的方法&#xff1f;】 在日常的工作、学习、娱乐中&#xff0c;我们经常需…...

编程日记 2023/4/27 19:17:17

( “树” 之 Trie) 208. 实现 Trie (前缀树) ——【Leetcode每日一题】

知识点回顾 &#xff1a; Trie&#xff0c;又称前缀树或字典树&#xff0c;用于判断字符串是否存在或者是否具有某种字符串前缀。 ❓208. 实现 Trie (前缀树) 难度&#xff1a;中等 Trie&#xff08;发音类似 “try”&#xff09;或者说 前缀树 是一种树形数据结构&#xff…...

编程日记 2023/4/27 19:12:10

算法训练Day40:343. 整数拆分 96.不同的二叉搜索树

文章目录 整数拆分题解&#xff08;动态规划&#xff09;贪心 不同的二叉搜索树题解 整数拆分 CategoryDifficultyLikesDislikesContestSlugProblemIndexScorealgorithmsMedium (62.22%)11660--0 Tags 数学 | 动态规划 Companies 给定一个正整数 n &#xff0c;将其拆分为…...

编程日记 2023/4/27 19:07:09

设计模式及代码

1、工厂方法模式&#xff08;Factory Method Pattern&#xff09;&#xff1a; 定义一个用于创建对象的接口&#xff0c;让子类决定实例化哪一个类。应用场景&#xff1a;当一个类不知道它所必须创建的对象的类时&#xff1b;一个类希望由它的子类来指定它所创建的对象时。 抽…...

编程日记 2023/4/27 19:02:08

9.java程序员必知必会类库之加密库

前言 密码学在计算机领域源远流长&#xff0c;应用广泛。当前每时每刻&#xff0c;每一个连接到互联网的终端&#xff0c;手机&#xff0c;电脑&#xff0c;iPad都会和互联网有无数次的数据交互&#xff0c;如果这些数据都是明文传输那将是难以想象的。为了保护用户隐私&#…...

编程日记 2023/4/27 18:57:07

C技能树：for循环：九九乘法表

使用for循环&#xff0c;打印九九乘法表。下列四个选项中有一项无法实现该功能&#xff0c;请找出该错误选项。 #include <stdio.h> int main(int argc, char** argv) {int i 0;int j 0;(_____1_____)return 0; } int row 0; int col 0; for(i 0; i < 8…...

编程日记 2023/4/27 18:52:06

Qwen3-14B WebUI定制教程：更换主题、添加历史记录、导出对话功能

Qwen3-14B WebUI定制教程&#xff1a;更换主题、添加历史记录、导出对话功能 1. 准备工作与环境检查 在开始定制Qwen3-14B的WebUI之前&#xff0c;我们需要确保环境已经正确配置并运行。以下是准备工作步骤&#xff1a; 1.1 确认镜像版本与硬件配置 首先检查您的环境是否符…...

编程新知 2026/4/2 9:37:16

PyTorch 2.8镜像实际案例：电商场景中AI生成商品短视频的端到端实现

PyTorch 2.8镜像实际案例&#xff1a;电商场景中AI生成商品短视频的端到端实现 1. 电商短视频生成的技术挑战 在电商运营中&#xff0c;商品短视频已经成为提升转化率的关键因素。传统视频制作面临三个主要痛点&#xff1a; 人力成本高&#xff1a;专业视频制作团队单条视频…...

编程新知 2026/4/2 9:16:54

一个防止GPT“降智”的简单方法

GPT客户端容易“降智”&#xff1f;教你一个简单解决办法 正文 最近一直感觉 GPT 手机客户端有点“降智”&#xff0c;回答质量不太稳定。 后来我拿同一账号做了对比&#xff0c;发现用手机浏览器登录网页版时&#xff0c;整体会正常不少&#xff0c;所以来给大家分享一下。 我…...

编程新知 2026/4/2 7:07:02

AQ智商测试

AQ逆商测试结果分析&#xff08;PSYTOPIC版&#xff09; Psytopic分析&#xff1a;您的AQ得分是 168 &#xff0c;在人群中属较高水平 。 以下是PSYTOPIC为您提供的分析参考&#xff1a; 你能面对现实&#xff0c;对来自工作和生活中的困难应对自如&#xff0c;并敢于迎接逆境…...

编程新知 2026/4/2 6:48:40

港科夜闻 | 香港科大“长者护脑社区计划“为6,000名长者提供阿尔兹海默症早筛

关注并星标每周阅读港科夜闻建立新视野 开启新思维1、香港科技大学3月23日宣布推出为期五年的 “长者护脑社区计划”。这项开创性计划以社区为本&#xff0c;旨在为香港基层长者提供阿尔兹海默症及轻度认知障碍的早期检测。香港科大将联同东华学院及十多间社福机构&#xff0c;…...

编程新知 2026/4/2 6:00:05

OpenClaw技能开发入门：为千问3.5-27B编写自定义模块

OpenClaw技能开发入门&#xff1a;为千问3.5-27B编写自定义模块 1. 为什么需要自定义技能&#xff1f; 去年冬天&#xff0c;我发现自己每天早晨都要手动查询天气并发送给家人。重复的操作让我开始思考&#xff1a;能否让OpenClaw帮我自动完成这个任务&#xff1f;这就是我踏…...

编程新知 2026/4/2 5:21:47

[特殊字符]️ VibeVoice: 开源前沿语音AI，让沟通更高效！

&#x1f399;️ VibeVoice: 开源前沿语音AI VibeVoice是一个开源前沿语音AI模型家族&#xff0c;涵盖文本转语音(TTS)和自动语音识别(ASR)模型。这一项目旨在通过持续的创新&#xff0c;推动语音合成和识别领域的发展。 创新亮点 VibeVoice的核心创新在于采用了持续语音标记…...

编程新知 2026/4/2 4:57:37

AI人体骨骼关键点检测：5分钟快速部署，33个关节点一键可视化

AI人体骨骼关键点检测&#xff1a;5分钟快速部署&#xff0c;33个关节点一键可视化 1. 引言&#xff1a;快速体验人体姿态检测 人体骨骼关键点检测技术正在改变我们与计算机交互的方式。想象一下&#xff0c;你的电脑能够实时理解你的每一个动作——从简单的举手到复杂的舞蹈…...

编程新知 2026/4/2 3:32:03

化整为零、分而治之、异步编排：一文读懂现代并发的底层心法

LongAdder&#xff1a;化整为零&#xff0c;热点分散 在Java多线程编程中&#xff0c;‌原子变量&#xff08;如AtomicLong&#xff09;‌通过CAS操作实现线程安全的累加。然而&#xff0c;在高并发场景下&#xff0c;大量线程争抢同一原子变量会引发严重的‌缓存一致性问题‌。…...

编程新知 2026/4/2 3:19:31

OpenClaw技能扩展实战：安装Phi-3-vision-128k-instruct专用图文处理模块

OpenClaw技能扩展实战&#xff1a;安装Phi-3-vision-128k-instruct专用图文处理模块 1. 为什么需要专用技能模块&#xff1f; 上周我在整理技术文档时遇到一个典型场景&#xff1a;需要将十几份混杂着截图和文字说明的会议纪要&#xff0c;自动转换成结构化的Markdown文件。当…...

编程新知 2026/4/2 3:07:29