SQL数据清理:去除字段值中的多余符号(Demo例子)
目录
- 前言
- 1. 基础
- 2. 进阶
前言
Excel中有大量不合法的符号,导入到系统之后,数据库有很多脏数据,对此下述展开sql的清洗教程
在数据库的文本字段中,可能会存在多余的逗号或符号,如,销售,, 或 二手车,销售,,
这种情况
希望清理这些数据,使其符合以下规则:
-
去除前导和尾部的多余逗号,例如:
二手车,销售,, → 二手车,销售
,生产,, → 生产
-
保留中间合理的逗号分隔,例如:
,生产,销售 → 生产,销售(不用删除逗号)
1. 基础
- 对于 MySQL 数据库
MySQL 提供了 TRIM() 函数来删除字符串两端的空格,但没有直接删除两端特定字符的函数
可以使用 TRIM() 结合 REPLACE() 函数来实现:
UPDATE industry_monitoring
SET matched_keywords = TRIM(BOTH ',' FROM matched_keywords);
TRIM(BOTH ',' FROM matched_keywords)
:删除 matched_keywords 字段值两端的逗号
如果字段值两端可能存在空格,可以进一步使用 TRIM() 函数处理空格:
UPDATE industry_monitoring
SET matched_keywords = TRIM(BOTH ',' FROM TRIM(matched_keywords));
- 对于 PostgreSQL 数据库
PostgreSQL 提供了 TRIM() 函数,可以直接指定删除的字符:
UPDATE industry_monitoring
SET matched_keywords = TRIM(BOTH ',' FROM matched_keywords);
TRIM(BOTH ',' FROM matched_keywords)
:删除 matched_keywords 字段值两端的逗号
如果需要同时处理空格,可以嵌套 TRIM() 函数:
UPDATE industry_monitoring
SET matched_keywords = TRIM(BOTH ',' FROM TRIM(matched_keywords));
- 对于 SQL Server 数据库
SQL Server 中没有直接的 TRIM() 函数,但可以通过 LTRIM() 和 RTRIM() 函数结合 REPLACE() 函数来实现:
UPDATE industry_monitoring
SET matched_keywords = LTRIM(RTRIM(REPLACE(REPLACE(matched_keywords, ', ', ''), ', ', '')));
REPLACE(matched_keywords, ', ', '')
:移除字段值中的逗号和空格
LTRIM(RTRIM(...))
:移除字段值两端的空格
注意事项
- 备份数据:在执行更新操作之前,建议备份相关数据,以防万一
- 测试语句:在实际更新之前,可以先用 SELECT 语句测试结果是否符合预期:(确保结果正确后再执行 UPDATE 语句)
SELECT matched_keywords, TRIM(BOTH ',' FROM TRIM(matched_keywords)) AS cleaned_keywords
FROM industry_monitoring;
通过上述 SQL 语句,可以有效地清理 matched_keywords 字段中多余的符号,同时保留字段值中间的符号
2. 进阶
如果数据中存在 连续的 ,(如 二手车,销售,),那么这个 SQL 只能去掉首尾的 ,,不会去掉中间的多余逗号
截图如下:
如果只是去掉前后的逗号,可以这样写:
UPDATE industry_monitoring
SET matched_keywords = TRIM(BOTH ',' FROM matched_keywords);
但如果要去掉 前后的逗号 + 连续的 ,,可以这样优化:
UPDATE industry_monitoring
SET matched_keywords = TRIM(BOTH ',' FROM REPLACE(matched_keywords, ',,', ','));
相关文章:

SQL数据清理:去除字段值中的多余符号(Demo例子)
目录 前言1. 基础2. 进阶 前言 Excel中有大量不合法的符号,导入到系统之后,数据库有很多脏数据,对此下述展开sql的清洗教程 在数据库的文本字段中,可能会存在多余的逗号或符号,如,销售,, 或 二手车,销售,,这种情况 希…...

.NET版Word处理控件Aspose.Words教程:使用 C# 删除 Word 中的空白页
Word 文档中的空白页会使其看起来不专业并扰乱流程。用户会遇到需要删除 Word 中的空白页的情况,但手动删除它们需要时间和精力。在这篇博文中,我们将探讨如何使用 C# 删除 Word 中的空白页。 本文涵盖以下主题: C# 库用于删除 Word 中的空…...

【工业场景】用YOLOv8实现火灾识别
火灾识别任务是工业领域急需关注的重点安全事项,其应用场景和背景意义主要体现在以下几个方面: 应用场景:工业场所:在工厂、仓库等工业场所中,火灾是造成重大财产损失和人员伤亡的主要原因之一。利用火灾识别技术可以及时发现火灾迹象,采取相应的应急措施,保障人员安全和…...
Flask Web开发的重要概念和示例
一口气列举Flask Web应用的所有概念和示例 Flask Web 应用基本框架 路由(Routing) 模版(Template) request 对象 JSON 数据处理 redirect 示例 文件上传示例 文件下载示例 Session 示例 Cookie操作 Flask Web 应用基本框架 这是一个 最基础的 Flask Web 应用,…...

【Antv G2 5.x】饼图添加点击事件,获取当前坐标数据
// 监听 tooltip:show 事件this.chart.on(tooltip:show, (event) => {this.currentShowTooltipName = event.data.items[0].name})// 监听绘图区plot的点击事件this.chart.on(interval:click, ev => {this.$emit(chartClick, this.currentShowTooltipName);})// 监听绘图…...
深度学习-112-大语言模型LLM之langchain的聊天模型概述和基本概念介绍
文章目录 1 概念指南Conceptual guide1.1 概念Concepts1.2 词汇表Glossary2 聊天模型Chat models2.1 概述Overview2.2 功能Features2.3 集成Integrations2.4 接口Interface2.4.1 关键方法Key methods2.4.2 输入和输出Inputs and outputs2.4.3 标准参数Standard parameters2.5 工…...
Vue.js 实现树形结构管理系统的前端设计与实现
Vue.js 实现树形结构管理系统的前端设计与实现: 在现代前端开发中,树形结构是一种常见的数据展示方式,尤其适用于需要展示层级关系的场景,如目录、文件、分类等。本文将详细介绍如何使用 Vue.js 和 Element UI 组件库实现一个功能强大且易于…...

OSPF高级特性(3):安全特效
引言 OSPF的基础我们已经结束学习了,接下来我们继续学习OSPF的高级特性。为了方便大家阅读,我会将高级特性的几篇链接放在末尾,所有链接都是站内的,大家点击即可阅读: OSPF基础(1):工…...

Unity Shader Graph 2D - Procedural程序化图形转动的环状六边形
前言 Hexagon又称六边形,在游戏中是十分常见的基础形状,本文将使用程序化的六边形来制作多个环状六边形叠加的转动动画效果,实践Unity Shader Graph中的常用节点功能。 创建一个Shader Graph文件命名为Hexagon,并创建对应的材质球M_Hexagon,在Shader Graph中创建一…...

鸿蒙HarmonyOS NEXT开发:横竖屏切换开发实践
文章目录 一、概述二、窗口旋转说明1、配置module.json5的orientation字段2、调用窗口的setPreferredOrientation方法 四、性能优化1、使用自定义组件冻结2、对图片使用autoResize3、排查一些耗时操作 四、常见场景示例1、视频类应用横竖屏开发2、游戏类应用横屏开发 五、其他常…...

汇能感知宠物智能监控模块
汇能感知宠物智能监控模块 分辨率:2/3M 帧率:15-30FPS 压缩方式:H.264/H.265 APP支持:涂鸦Tuya、安居云AJcloud 配网方式:BLE蓝牙 / WiFi WIFI:2.4/5.8G WIFI 音频:单向/双向语音对讲/录…...

C# 两种方案实现调用 DeepSeek API
目录 序 开发运行环境 访问API的一个通用方法 原生官网实现 申请 API key 调用实现 调用示例 腾讯云知识引擎原子调用 申请 API key 调用示例 小结 序 DeepSeek(深度求索) 最近可谓火爆的一塌糊涂,具体的介绍这里不再赘述&#x…...

Android ndk兼容 64bit so报错
1、报错logcat如下 2025-01-13 11:34:41.963 4687-4687 DEBUG pid-4687 A #01 pc 00000000000063b8 /system/lib64/liblog.so (__android_log_default_aborter16) (BuildId: 467c2038cdfa767245f9280e657fdb85) 2025…...
计算机毕业设计——Springboot的校园新闻网站
📘 博主小档案: 花花,一名来自世界500强的资深程序猿,毕业于国内知名985高校。 🔧 技术专长: 花花在深度学习任务中展现出卓越的能力,包括但不限于java、python等技术。近年来,花花更…...

Tauri Windows入门开发避坑指南
一、前置条件 在Windows上开发Tauri应用,需要先配置开发环境: windows上需要满足以下三个要求: 1.Microsoft C 构建工具 2.安装WebView2 3.下载并安装Rust 这些软件在本文附件中可以下载,如何安装请查看官方文档:htt…...

用AI绘制CAD气温曲线图
此文章视频讲解地址 https://www.bilibili.com/video/BV1JtKjenEhF 需求 根据气温的JSON数据,用AI自动生成CAD格式的气温曲线DWG图 数据准备 用deepseek获取了北京市最近一个月的气温json数据 AI对话 首先进入唯杰地图云端管理平台 选择与唯杰地图AI对话 需求描…...
什么是http请求中的session
一、引言 在现代Web开发中,Session是一个非常重要的概念。它允许服务器在多个HTTP请求之间保持用户状态,解决了HTTP协议无状态的问题。本文将详细介绍Session的工作原理、具体使用场景,并通过HTTP请求的例子来阐述其应用。 二、Session概述…...

全链路数据引擎:WhaleStudio驱动下的大数据调度与同步智能革新
在数字化转型不断加速的今天,数据已成为企业最宝贵的资产,而如何高效地处理、传输和协调这些海量数据成为企业制胜的关键。大数据调度与同步正是支撑这一核心业务的两大技术支柱。本文将详细阐述大数据调度与同步的工作原理、二者之间的紧密关系以及它们…...

PHP 中的除以零错误
除以零错误(Division by zero)是指数字除以零的情况, 这在数学上是未定义的。在 PHP 中,处理这种错误的方式取决于 PHP 版本: PHP 7: 使用 / 运算符会产生一个警告 (E_WARNING) 并返回 false。 使用 intd…...
3.2 > Bash
概览 在上一节中我们了解了关于 Shell 的执行流程,知道了在 Linux 环境中一般有哪些常用的 Shell。而在本节中,将会学习到 Linux 中最常见的一个 Shell —— Bash,了解到 bash 的相关知识和用法。 本节目录 概览相关知识bash 命令提示符bas…...
Vim 调用外部命令学习笔记
Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...
镜像里切换为普通用户
如果你登录远程虚拟机默认就是 root 用户,但你不希望用 root 权限运行 ns-3(这是对的,ns3 工具会拒绝 root),你可以按以下方法创建一个 非 root 用户账号 并切换到它运行 ns-3。 一次性解决方案:创建非 roo…...
python爬虫:Newspaper3k 的详细使用(好用的新闻网站文章抓取和解析的Python库)
更多内容请见: 爬虫和逆向教程-专栏介绍和目录 文章目录 一、Newspaper3k 概述1.1 Newspaper3k 介绍1.2 主要功能1.3 典型应用场景1.4 安装二、基本用法2.2 提取单篇文章的内容2.2 处理多篇文档三、高级选项3.1 自定义配置3.2 分析文章情感四、实战案例4.1 构建新闻摘要聚合器…...
MySQL用户和授权
开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务: test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...

中医有效性探讨
文章目录 西医是如何发展到以生物化学为药理基础的现代医学?传统医学奠基期(远古 - 17 世纪)近代医学转型期(17 世纪 - 19 世纪末)现代医学成熟期(20世纪至今) 中医的源远流长和一脉相承远古至…...

论文笔记——相干体技术在裂缝预测中的应用研究
目录 相关地震知识补充地震数据的认识地震几何属性 相干体算法定义基本原理第一代相干体技术:基于互相关的相干体技术(Correlation)第二代相干体技术:基于相似的相干体技术(Semblance)基于多道相似的相干体…...
【JavaSE】多线程基础学习笔记
多线程基础 -线程相关概念 程序(Program) 是为完成特定任务、用某种语言编写的一组指令的集合简单的说:就是我们写的代码 进程 进程是指运行中的程序,比如我们使用QQ,就启动了一个进程,操作系统就会为该进程分配内存…...

【JVM】Java虚拟机(二)——垃圾回收
目录 一、如何判断对象可以回收 (一)引用计数法 (二)可达性分析算法 二、垃圾回收算法 (一)标记清除 (二)标记整理 (三)复制 (四ÿ…...

篇章二 论坛系统——系统设计
目录 2.系统设计 2.1 技术选型 2.2 设计数据库结构 2.2.1 数据库实体 1. 数据库设计 1.1 数据库名: forum db 1.2 表的设计 1.3 编写SQL 2.系统设计 2.1 技术选型 2.2 设计数据库结构 2.2.1 数据库实体 通过需求分析获得概念类并结合业务实现过程中的技术需要&#x…...

DAY 45 超大力王爱学Python
来自超大力王的友情提示:在用tensordoard的时候一定一定要用绝对位置,例如:tensorboard --logdir"D:\代码\archive (1)\runs\cifar10_mlp_experiment_2" 不然读取不了数据 知识点回顾: tensorboard的发展历史和原理tens…...