当前位置： 首页 > news >正文

数据分析---常见处理逻辑

news 2026/4/19 4:18:58

目录

  • 数据清洗
  • 数据转换
  • 数据聚合
  • 数据筛选
  • 增删改查（以查为例）

数据清洗

  • 去除重复值：使用DISTINCT关键字去除重复行。
//这将返回一个包含所有不重复城市的结果集
SELECT DISTINCT city FROM students;
  • 处理缺失值：使用IS NULL或IS NOT NULL判断是否为空值，并使用COALESCE或CASE WHEN进行填充或替换。
//这将返回一个结果集，其中包含了员工姓名和部门信息。
SEL

相关文章：

数据分析---常见处理逻辑

目录 数据清洗数据转换数据聚合数据筛选增删改查（以查为例）数据清洗 去除重复值：使用DISTINCT关键字去除重复行。//这将返回一个包含所有不重复城市的结果集 SELECT DISTINCT city FROM students;处理缺失值：使用IS NULL或IS NOT NULL判断是否为空值，并使用COALESCE或CASE…...

编程日记 2024/2/29 13:54:43

2024-02-26（金融AI行业概览与大数据生态圈）

1.最开始的风控是怎么做的？ 人审 吃业务经验 不能大批量处理，效率低下 不适用于移动互联网的金融场景 2.建模的概念 建模就是构造一个数学公式，能将我们手上有的数据输入进去，通过计算得到一些预测结果。 比如初高中学习的…...

编程日记 2024/2/29 13:49:36

git忽略某些文件(夹)更改说明

概述 在项目中，常有需要忽略的文件、文件夹提交到代码仓库中，在此做个笔录。 一、在项目根目录内新建文本文件，并重命名为.gitignore，该文件语法如下 # 以#开始的行，被视为注释. # 忽略掉所有文件名是 a.txt的文件. a.txt # 忽略所有生成的 java文件, *.java # a.j…...

编程日记 2024/2/29 13:46:33

python爬虫实战：获取电子邮件和联系人信息

引言 在数字时代，电子邮件和联系人信息成为了许多企业和个人重要的资源，在本文中，我们将探讨如何使用Python爬虫从网页中提取电子邮件和联系人信息，并附上示例代码。 目录 引言 二、准备工作 你可以使用以下命令来安装这些库&a…...

编程日记 2024/2/29 13:44:31

post请求同时上传文件并传递其他参数的前后端写法

最近有一需求，post请求从前端上传一个文件同时传递一个参数，多次实验后记录下两种写法： 方法一： 前端：重点是设置请求头代码如下： getfile(event) {//input框输入文件let file event.target.files[0];l…...

编程日记 2024/2/29 13:41:28

【数仓】基本概念、知识普及、核心技术

一、数仓基本概念 数仓的定义： 数据仓库（Data Warehouse，简称DW或DWH）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。简言之，它是一个大型存储库，用于存储来…...

编程日记 2024/2/29 13:40:27

ky10-server docker 离线安装包、离线安装

离线安装脚本 # ---------------离线安装docker------------------- rpm -Uvh --force --nodeps *.rpm# 修改docker拉取源为国内 rm -rf /etc/docker mkdir -p /etc/docker touch /etc/docker/daemon.json cat >/etc/docker/daemon.json<<EOF{"registry-mirro…...

编程日记 2024/2/29 13:37:23

Linux的gdb调试

文章目录 一、编译有调试信息的目标文件二、启动gdb调试文件1、查看内容list/l&#xff1a;l 文件名:行号/函数名&#xff0c;l 行号/函数名2、打断点b&#xff1a;b文件名:行号/函数名&#xff0c;b 行号/函数名 与 查看断点info/i&#xff1a;info b3、删除断点d&#xff1a;…...

编程日记 2024/2/29 13:36:22

IO多路复用-select模型

IO多路复用&#xff08;IO Multiplexing&#xff09;是一种高效的网络编程模型&#xff0c;可以同时监控多个文件描述符&#xff08;包括套接字等&#xff09;&#xff0c;并在有数据可读或可写时进行通知。其中&#xff0c;select模型是最常用和最早引入的一种IO多路复用模型。…...

编程日记 2024/2/29 13:34:20

班级事务管理系统设计与实现

** &#x1f345;点赞收藏关注 → 私信领取本源代码、数据库&#x1f345; 本人在Java毕业设计领域有多年的经验&#xff0c;陆续会更新更多优质的Java实战项目希望你能有所收获&#xff0c;少走一些弯路。&#x1f345;关注我不迷路&#x1f345;** 一 、设计说明 1.1 选题…...

编程日记 2024/2/29 13:32:18

金三银四面试必问：Redis真的是单线程吗？

文章目录 01 Redis中的多线程1&#xff09;redis-server&#xff1a;2&#xff09;jemalloc_bg_thd3&#xff09;bio_xxx&#xff1a; 02 I/O多线程03 Redis中的多进程04 结论▼延伸阅读 由面试题“Redis是否为单线程”引发的思考 作者&#xff1a;李乐 来源&#xff1a;IT阅读…...

编程日记 2024/2/29 13:31:16

notejs+nvm+angular+typescript.js环境 Hertzbeat 配置

D:\Program Files\nodejs\ D:\Users\Administrator\AppData\Roaming\nvm nvm命令提示 nvm arch&#xff1a;显示node是运行在32位还是64位。 nvm install <version> [arch] &#xff1a;安装node&#xff0c; version是特定版本也可以是最新稳定版本latest。 可选参…...

编程日记 2024/2/29 13:30:15

docker安装单机版canal和使用

说明&#xff1a;我安装的组件架构如下&#xff1a; 1、准备一台虚拟机&#xff0c;192.168.2.223&#xff0c;我安装的时候&#xff0c;docker只支持canal1.1.6版本&#xff0c;1.1.7无法使用docker安装.还有一点要补充&#xff0c;就是1.1.6好像不支持es8.0以上版本&#x…...

编程日记 2024/2/29 13:28:12

qt_xml文件

文章内容 简单介绍xml文件的增删改查写生成和读取xml文件的例子增删改查 Qt提供了QDomDocument类来操作XML文件。 增加节点： QDomElement root = doc.createElement("root"); doc.appendChild(root);QDomElement element = doc.createElement("element"…...

编程日记 2024/2/29 13:25:08

【DAY05 软考中级备考笔记】线性表，栈和队列，串数组矩阵和广义表

线性表&#xff0c;栈和队列&#xff0c;串数组矩阵和广义表 2月28日 – 天气&#xff1a;阴转晴 时隔好几天没有学习了&#xff0c;今天补上。明天发工资&#xff0c;开心&#x1f604; 1. 线性表 1.1 线性表的结构 首先线性表的结构分为物理结构和逻辑结构 物理结构按照实…...

编程日记 2024/2/29 13:23:06

AutoGen Studio助力打造私人GPTs

微软最近在开源项目里的确挺能整活儿啊！ 这次我介绍的是AutoGen Studio，我认为这个项目把AutoGen可用性又拔高了一个层次的项目 项目给自己的定义是交互式的多Agent workflow 项目地址：autogen/samples/apps/autogen-studio at main microsoft/autogen (github.com) 首先我…...

编程日记 2024/2/29 13:21:03

SpringBoot 自定义映射规则resultMap association一对一

介绍 例&#xff1a;学生表&#xff0c;班级表&#xff0c;希望在查询学生的时候一起返回该学生的班级&#xff0c;而一个实体类封装的是一个表&#xff0c;如需要多表查询就需要自定义映射。 表结构 班级表 学生表 SQL语句 SELECT a.id,a.name,a.classes,b.id classes…...

编程日记 2024/2/29 13:19:01

华东地区汽车相关夹具配套企业分布图，你了解多少？

1、华东地区 上海汽车整车厂众多&#xff0c;大多以设计研发为主&#xff0c;注重技术和造型&#xff0c;这与他们的整体风格息息相关。 作为与国际接轨的特大城市&#xff0c;中国的经济、交通、科技、工业、金融、贸易、会展和航运中心&#xff0c;聚集了大量的设计和研发人…...

编程日记 2024/2/29 13:14:56

SpringBoot - 后端数据返回前端各个数据类型全局格式化

全局配置 import com.fasterxml.jackson.annotation.JsonInclude; import com.fasterxml.jackson.databind.ObjectMapper; import com.fasterxml.jackson.databind.SerializationFeature; import com.fasterxml.jackson.databind.module.SimpleModule; import com.fasterxml.j…...

编程日记 2024/2/29 13:12:55

实验室记账项目（java+Mysql+jdbc）

前言&#xff1a; 因为自己学习能力有限和特殊情况必须要找一个项目来做&#xff0c;但是上网搜的那些项目有两种&#xff08;一种是技术太多&#xff0c;自己能力不够&#xff1b;一种是技术太少&#xff0c;项目太简单&#xff09;导致都不适合本人&#xff0c;本人现有技术只…...

编程日记 2024/2/29 13:10:53

毕业不焦虑，百考通AI帮你高效搞定本科毕业论文

深夜的电脑屏幕前&#xff0c;一个大学生正对着空白的文档发呆&#xff0c;毕业论文的截止日期日益临近&#xff0c;他却连选题都还没确定。这或许是无数毕业生共同经历过的煎熬时刻。 一、毕业季的论文困境&#xff1a;每个本科生都懂 又到一年毕业季&#xff0c;校园里弥漫着…...

编程新知 2026/4/19 4:01:03

从SiamFC到SiamRPN++：一个PyTorch复现者的五年跟踪算法演进笔记

从SiamFC到SiamRPN&#xff1a;一个PyTorch复现者的五年跟踪算法演进笔记 1. 初识SiamFC&#xff1a;全卷积孪生网络的革命性突破 2016年首次接触SiamFC时&#xff0c;它的设计理念让我眼前一亮。传统目标跟踪算法通常需要在每一帧进行复杂的在线学习&#xff0c;而SiamFC却另辟…...

编程新知 2026/4/19 3:59:03

CAD_Sketcher：Blender参数化草图设计的革命性工具

CAD_Sketcher&#xff1a;Blender参数化草图设计的革命性工具 【免费下载链接】CAD_Sketcher Constraint-based geometry sketcher for blender 项目地址: https://gitcode.com/gh_mirrors/ca/CAD_Sketcher 在Blender中进行精确几何建模时&#xff0c;你是否曾因手动调整…...

编程新知 2026/4/19 3:50:56

AI英语教育平台的模块

开发一个AI英语教育平台通常可以划分为五个核心逻辑模块。这种划分方式既涵盖了前端的用户交互&#xff0c;也包含了底层的AI推理与教学工程。以下是详细的模块划分&#xff1a;1. 交互与多模态感知模块这是平台的“感官”&#xff0c;负责处理用户输入并转化为机器可理解的数据…...

编程新知 2026/4/19 3:03:03

用自定义图像微调FLUX.1模型

使用自有图像微调FLUX.1模型 现在可以在Replicate上使用快速FLUX训练器微调模型。 该训练速度极快&#xff08;不到2分钟&#xff09;、成本低廉&#xff08;低于2美元&#xff09;&#xff0c;并提供可运行的模型以及可下载的LoRA权重。 FLUX.1是Black Forest Labs今年夏季发布…...

编程新知 2026/4/19 2:56:16

如何用pROC包一键生成高颜值ROC曲线图

1. 为什么你需要pROC包来画ROC曲线 第一次接触ROC曲线时&#xff0c;我完全被那些专业术语搞晕了。TPR、FPR、AUC...这些缩写看起来就像天书。直到我在医学研究中需要评估肿瘤标志物的诊断效果时&#xff0c;才发现pROC包简直是救命稻草。 传统的ROC曲线绘制方法需要手动计算每…...

编程新知 2026/4/19 0:18:00

【AGI测试验证黄金法则】：20年AI系统工程师首曝7大不可绕过的验证陷阱

第一章&#xff1a;AGI测试验证的范式革命 2026奇点智能技术大会(https://ml-summit.org) 传统AI系统测试依赖静态数据集、预设指标与确定性边界&#xff0c;而AGI具备跨域泛化、自主目标建模与持续元认知能力&#xff0c;使黑盒评估、对抗扰动鲁棒性测试和价值对齐验证面临根…...

编程新知 2026/4/18 23:48:38

Linux运维实战：手把手教你用fdisk和mount命令挂载移动硬盘（含NTFS格式报错解决）

Linux运维实战&#xff1a;移动硬盘挂载全流程与NTFS兼容方案深度解析 凌晨三点的机房警报声格外刺耳&#xff0c;服务器日志即将撑爆磁盘空间。你抓起手边的移动硬盘准备紧急备份&#xff0c;却在执行mount命令时看到刺眼的"wrong fs type"报错——这种场景对Linux运…...

编程新知 2026/4/18 23:37:59

StarUML 4.0 导出高清无痕图片的逆向工程实践

1. StarUML水印问题的由来与影响 第一次用StarUML导出设计图时&#xff0c;那个醒目的"Unregistered"水印简直让我崩溃。作为一款专业的UML建模工具&#xff0c;StarUML在未注册状态下会在导出的所有图片上添加这个标识&#xff0c;严重影响图表在正式文档和演示中的…...

编程新知 2026/4/18 23:33:41

告别VGA驱动困惑：用Verilog在Cyclone IV FPGA上实现800x60彩条与字符显示（附完整代码）

FPGA实战&#xff1a;用Verilog在Cyclone IV上实现VGA彩条与字符显示系统 第一次接触FPGA驱动VGA显示时&#xff0c;我被那些复杂的时序参数和硬件连接弄得晕头转向。屏幕要么一片漆黑&#xff0c;要么显示错位的彩色条纹&#xff0c;调试过程简直是一场噩梦。直到真正理解了从…...

编程新知 2026/4/18 23:03:01