当前位置: 首页 > news >正文

MySQL 脱敏函数使用详解:保护数据隐私的关键手段

全文目录:

    • 前言
    • 前言
    • 为什么需要数据脱敏?
    • MySQL 中常用的脱敏方法
      • 1. 字符串类型数据的脱敏
        • 案例:脱敏姓名
        • 案例:脱敏邮箱
      • 2. 数字类型数据的脱敏
        • 案例:脱敏手机号
        • 案例:脱敏身份证号
      • 3. 自定义脱敏函数
        • 自定义姓名脱敏函数
        • 自定义身份证号脱敏函数
    • 拓展应用:基于业务场景的脱敏
      • 1. 动态脱敏策略
        • 案例:根据角色进行脱敏
      • 2. 脱敏与日志审计
      • 3. 测试环境中的脱敏处理
    • 总结
    • 文末

前言

哈喽,各位小伙伴们,你们好呀,我是喵手。运营社区:C站/掘金/腾讯云/阿里云/华为云/51CTO;欢迎大家常来逛逛

  今天我要给大家分享一些自己日常学习到的一些知识点,并以文字的形式跟大家一起交流,互相学习,一个人虽可以走的更快,但一群人可以走的更远。

  我是一名后端开发爱好者,工作日常接触到最多的就是Java语言啦,所以我都尽量抽业余时间把自己所学到所会的,通过文章的形式进行输出,希望以这种方式帮助到更多的初学者或者想入门的小伙伴们,同时也能对自己的技术进行沉淀,加以复盘,查缺补漏。

小伙伴们在批阅的过程中,如果觉得文章不错,欢迎点赞、收藏、关注哦。三连即是对作者我写作道路上最好的鼓励与支持!

前言

在现代数据管理中,数据安全和隐私保护已成为企业和开发者必须重视的核心问题。为了避免敏感数据的泄露,数据脱敏(Data Masking)作为一种常见的数据安全技术,通过对敏感数据进行部分隐藏或模糊处理,确保其在测试、开发和非生产环境中的安全性。

MySQL 作为最流行的关系型数据库之一,虽然没有内置专门的数据脱敏函数,但我们可以通过 SQL 函数和表达式来实现有效的数据脱敏。本文将详细讲解如何在 MySQL 中使用函数实现数据脱敏,并结合实际案例,展示如何灵活使用这些技术手段保护敏感信息。

为什么需要数据脱敏?

在日常业务中,特别是涉及个人隐私、财务、医疗等敏感信息的数据表,数据泄露的风险可能会带来无法估量的损失。开发、测试和分析数据时,通常不需要暴露完整的用户信息,而只需保留部分信息进行逻辑验证。此时,数据脱敏就显得尤为重要。

数据脱敏的主要目标包括:

  • 保护隐私:隐藏或模糊化敏感信息,如姓名、身份证号、手机号、银行卡号等。
  • 遵守法规:如 GDPR(通用数据保护条例)等法规对个人数据的使用有严格的要求。
  • 数据安全:防止未经授权的用户查看敏感数据,减少数据泄露的可能性。

MySQL 中常用的脱敏方法

尽管 MySQL 没有直接提供脱敏函数,但可以通过一些内置函数和表达式来实现数据脱敏。常用的函数包括 SUBSTRING()REPEAT()CONCAT()LPAD() 等。这些函数可以帮助我们部分隐藏敏感数据或将其替换为固定字符,从而达到脱敏效果。

1. 字符串类型数据的脱敏

对于涉及姓名、邮箱、地址等字符串类型的数据,常用的脱敏方式是将一部分字符隐藏,保留部分用于识别。

案例:脱敏姓名

假设我们有一个包含用户姓名的表 users,结构如下:

CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY,name VARCHAR(50),email VARCHAR(100)
);

我们想要实现将姓名的第二个字以 * 代替:

SELECTid,CONCAT(LEFT(name, 1), REPEAT('*', CHAR_LENGTH(name) - 1)) AS masked_name
FROM users;

解释:

  • LEFT(name, 1):取用户姓名的第一个字符。
  • REPEAT('*', CHAR_LENGTH(name) - 1):将剩余的字符用 * 替代。
案例:脱敏邮箱

对于邮箱地址,我们可以部分隐藏用户名,只展示前两位字符和域名部分:

SELECTid,CONCAT(LEFT(email, 2), REPEAT('*', LOCATE('@', email) - 3), SUBSTRING(email, LOCATE('@', email))) AS masked_email
FROM users;

解释:

  • LEFT(email, 2):获取邮箱前两位字符。
  • REPEAT('*', LOCATE('@', email) - 3):根据 @ 符号的位置,将中间的字符替换为 *
  • SUBSTRING(email, LOCATE('@', email)):保留 @ 及其后面的域名部分。

2. 数字类型数据的脱敏

对于手机号、身份证号、银行卡号等数字类型数据,可以通过隐藏中间部分数字进行脱敏。

案例:脱敏手机号

假设我们有一个包含用户手机号的表 contacts,结构如下:

CREATE TABLE contacts (id INT AUTO_INCREMENT PRIMARY KEY,phone VARCHAR(15)
);

我们可以将手机号的中间四位用 * 替代,只显示前 3 位和最后 4 位:

SELECTid,CONCAT(LEFT(phone, 3), REPEAT('*', 4), RIGHT(phone, 4)) AS masked_phone
FROM contacts;

解释:

  • LEFT(phone, 3):获取手机号的前三位。
  • REPEAT('*', 4):将中间四位替换为 *
  • RIGHT(phone, 4):保留手机号的后四位。
案例:脱敏身份证号

类似的,脱敏身份证号时我们可以将中间 8 位数字替换为 *,只保留前 6 位和后 4 位:

SELECTid,CONCAT(LEFT(id_card, 6), REPEAT('*', 8), RIGHT(id_card, 4)) AS masked_id_card
FROM users;

3. 自定义脱敏函数

MySQL 允许我们创建存储函数,可以根据实际需求自定义脱敏逻辑。这在处理复杂数据脱敏场景时非常有用。

自定义姓名脱敏函数

我们可以创建一个存储函数,用于处理姓名脱敏:

DELIMITER //CREATE FUNCTION mask_name(input_name VARCHAR(50))
RETURNS VARCHAR(50)
BEGINRETURN CONCAT(LEFT(input_name, 1), REPEAT('*', CHAR_LENGTH(input_name) - 1));
END //DELIMITER ;

使用该函数时,我们只需简单调用它:

SELECT id, mask_name(name) AS masked_name FROM users;
自定义身份证号脱敏函数

为了复用身份证号的脱敏逻辑,也可以创建如下存储函数:

DELIMITER //CREATE FUNCTION mask_id_card(input_id_card VARCHAR(18))
RETURNS VARCHAR(18)
BEGINRETURN CONCAT(LEFT(input_id_card, 6), REPEAT('*', 8), RIGHT(input_id_card, 4));
END //DELIMITER ;

使用该函数脱敏身份证号:

SELECT id, mask_id_card(id_card) AS masked_id_card FROM users;

通过存储函数的方式,我们可以将常用的脱敏逻辑封装起来,简化日常开发和数据脱敏操作。

拓展应用:基于业务场景的脱敏

不同业务场景下,数据脱敏的需求和策略可能有所不同。我们可以根据实际业务需求对脱敏规则进行灵活调整,以确保既能满足数据安全的要求,又能兼顾数据可读性和业务需求。

1. 动态脱敏策略

在某些场景下,不同用户角色对数据的访问权限不同。比如管理员可以查看完整信息,而普通用户只能看到脱敏后的数据。此时我们可以通过动态脱敏策略,根据用户角色动态调整脱敏级别。

案例:根据角色进行脱敏

假设我们有一个包含用户角色的表 users,角色可以是 adminuser。我们希望根据角色不同来展示不同级别的脱敏信息:

SELECTid,IF(role = 'admin', name, CONCAT(LEFT(name, 1), REPEAT('*', CHAR_LENGTH(name) - 1))) AS display_name,IF(role = 'admin', email, CONCAT(LEFT(email, 2), REPEAT('*', LOCATE('@', email) - 3), SUBSTRING(email, LOCATE('@', email)))) AS display_email
FROM users;

通过 IF 函数,我们可以根据用户的角色动态决定是否进行脱敏。

2. 脱敏与日志审计

在生产环境中,敏感数据的处理不仅限于查询,还涉及到日志记录和审计。为了确保数据安全,我们可以在记录日志时对敏感信息进行脱敏,从而避免日志泄露用户隐私。

-- 在记录日志时使用脱敏数据
INSERT INTO log_table (user_id, action, masked_email)
SELECT id, 'query', CONCAT(LEFT(email, 2), REPEAT('*', LOCATE('@', email) - 3), SUBSTRING(email, LOCATE('@', email)))
FROM users
WHERE id = 123;

这种方式确保日志记录中没有暴露用户的敏感信息。

3. 测试环境中的脱敏处理

在开发和测试环境中,往往需要使用生产数据进行测试。然而,直接使用生产环境中的敏感数据存在较大的数据泄露风险。因此,数据脱敏技术在测试环境中尤为重要。

可以通过批量更新数据的方式,对敏感数据进行脱敏处理:

UPDATE users
SET email = CONCAT(LEFT(email, 2), REPEAT('*', LOCATE('@', email) - 3), SUBSTRING(email, LOCATE('@', email)));

这种处理方式确保了在测试和开发过程中,数据脱敏后的信息不会泄露给无关人员。

总结

MySQL 虽然没有内置的专用脱敏函数,但通过组合 SQL 函数和表达式,我们可以轻松实现数据脱敏。对于常见的字符串和数字类型数据,如姓名、邮箱、手机号、

身份证号等,本文展示了几种常用的脱敏方法,并提供了自定义存储函数来简化操作。此外,我们还探讨了如何基于业务场景灵活应用脱敏技术,确保数据安全和业务需求的平衡。

在实际项目中,数据安全至关重要。通过有效地管理和应用脱敏策略,开发者不仅可以保护敏感信息的安全,还能够确保应用程序在开发、测试和生产中的稳定运行。

… …

文末

好啦,以上就是我这期的全部内容,如果有任何疑问,欢迎下方留言哦,咱们下期见。

… …

学习不分先后,知识不分多少;事无巨细,当以虚心求教;三人行,必有我师焉!!!

wished for you successed !!!


⭐️若喜欢我,就请关注我叭。

⭐️若对您有用,就请点赞叭。

⭐️若有疑问,就请评论留言告诉我叭。

相关文章:

MySQL 脱敏函数使用详解:保护数据隐私的关键手段

全文目录: 前言前言为什么需要数据脱敏?MySQL 中常用的脱敏方法1. 字符串类型数据的脱敏案例:脱敏姓名案例:脱敏邮箱 2. 数字类型数据的脱敏案例:脱敏手机号案例:脱敏身份证号 3. 自定义脱敏函数自定义姓名…...

nginx之virtual host

vhost 是“virtual host”的缩写,中文译为“虚拟主机”。在Web服务器(如Nginx、Apache等)中,虚拟主机是指在同一台物理服务器上运行多个独立的网站或应用程序的技术。每个虚拟主机都有自己的域名、文档根目录、配置文件等&#xf…...

Windows 下纯手工打造 QT 开发环境

用过 QtCreator 和 VS QT 插件,都觉得不是很理想。所以有了这个想法。 手工打造的 QT 的开发环境,是不需要安装上面两个程序的。 1、下载 vcpkg,编译 QT6 下载地址:https://github.com/microsoft/vcpkg.git 进入到 …...

k8s的安装和部署

配置三台主机,分别禁用各个主机上的swap,并配置解析 systemctl mask swap.target swapoff -a vim /etc/fstab配置这三个主机上的主机以及harbor仓库的主机 所有主机设置docker的资源管理模式为system [rootk8s-master ~]# vim /etc/docker/daemon.json…...

第十八篇:一文说清楚ICMP的底层原理

作为程序员或者网络工程师,有时候无法访问对方主机;导致这个现象的有很多原因,那要排查具体的网络原因,可能会用到ping的指令。而ping的底层实现是互联⽹控制报⽂协议(ICMP)。 ICMP 全称是 Internet Contr…...

【优选算法】(第三十二篇)

目录 ⼆进制求和(easy) 题目解析 讲解算法原理 编写代码 字符串相乘(medium) 题目解析 讲解算法原理 编写代码 ⼆进制求和(easy) 题目解析 1.题目链接:. - 力扣(LeetCode&a…...

线程(四)线程的同步——条件变量

文章目录 线程线程的同步和互斥线程同步--条件变量什么是线程同步示例--条件变量的使用示例--使用两个线程对同一个文件进行读写示例--一个读者一个写者使用条件变量来实现同步 线程 线程的同步和互斥 线程同步–条件变量 是一个宏观概念,在微观上包含线程的相互…...

二维数组的旋转与翻转(C++)(上(这只是简单讲解))

二维数组的旋转与翻转(C) 引言 在计算机科学中,二维数组是一种常见的数据结构,广泛应用于图像处理、数据挖掘、机器学习等多个领域。二维数组的旋转与翻转是处理二维数据时经常需要用到的操作。本文将详细介绍二维数组的旋转与翻…...

【在Linux世界中追寻伟大的One Piece】System V共享内存

目录 1 -> System V共享内存 1.1 -> 共享内存数据结构 1.2 -> 共享内存函数 1.2.1 -> shmget函数 1.2.2 -> shmot函数 1.2.3 -> shmdt函数 1.2.4 -> shmctl函数 1.3 -> 实例代码 2 -> System V消息队列 3 -> System V信号量 1 -> Sy…...

【大数据】Spark弹性分布式数据集RDD详细说明

文章目录 整体介绍一、定义与特性二、操作与转换三、存储级别与持久化四、依赖关系与容错机制五、优化与性能调优 常见操作支持的数据格式1.文本文件 (Text Files)2. CSV 文件3. JSON 文件4. Parquet 文件5. Sequence Files6.Hadoop文件读取A. 读取HDFS上的文本文件B. 使用Hado…...

人参玉桂膏简介

一、产品基本信息 产品名称:人参玉桂膏 产品类别:植物饮料(专为特定体质设计) 配料:精选薏苡仁、荷叶、玉米须、赤小豆等纯然植物成分,辅以麦芽糖醇液、低聚果糖调节口感,陈皮、肉桂、人参&…...

消费者Rebalance机制

优质博文:IT-BLOG-CN 一、消费者Rebalance机制 在Apache Kafka中,消费者组 Consumer Group会在以下几种情况下发生重新平衡Rebalance: 【1】消费者加入或离开消费者组: 当一个新的消费者加入消费者组或一个现有的消费者离开消费…...

消息队列介绍

一、ActiveMQ 优点:性能单台(6000)成熟,已经在很多公司得到应用。各种协议支持好,有多个语言的成熟客户端 缺点:性能较弱,缺乏大规模吞吐的场景的应用,有江河日下之感 二、RabbitMQ…...

告别@Value,Spring Boot 3.3更优雅的配置注入方案

在Spring Boot的早期版本中,我们常使用Value注解来注入配置文件中的属性值。然而,这种方式虽然简单直接,却存在一些局限,比如它只能注入基本类型的值,并且需要显式地在每个需要注入的字段上使用注解。随着Spring Boot的…...

甲虫身体图像分割系统源码&数据集分享

甲虫身体图像分割系统源码&数据集分享 [yolov8-seg-EfficientRepBiPAN&yolov8-seg-C2f-FocusedLinearAttention等50全套改进创新点发刊_一键训练教程_Web前端展示] 1.研究背景与意义 项目参考ILSVRC ImageNet Large Scale Visual Recognition Challen…...

Qt - QMenu

QMenu 1、menu转string输出 //GlobalEnum.h #include <QObject> #include <QMetaEnum> class GlobalEnum : public QObject {Q_OBJECT public:EnumTest();enum Enum_Test{ZhangSan 0,WangWu,};Q_ENUM(Enum_Test) };#define EnumToString(e) \ QMetaEnum::fromTy…...

舵机驱动详解(模拟/数字 STM32)

目录 一、介绍 二、模块原理 1.舵机驱动原理 2.引脚描述 三、程序设计 main.c文件 servo.h文件 servo.c文件 四、实验效果 五、资料获取 项目分享 一、介绍 舵机(Servo)是在程序的控制下&#xff0c;在一定范围内连续改变输出轴角度并保持的电机系统。即舵机只支持…...

dvwa:文件包含、文件上传

文件包含 本地文件包含&#xff08;敏感信息泄露&#xff09;和远程文件包含&#xff08;命令执行&#xff09; 本地文件包含一般包含一些本地的敏感文件&#xff0c;如&#xff1a;/etc/passwd或/etc/shadow等 远程文件包含能使得服务器代码执行&#xff0c;如包含黑客vps的…...

基于 C# .NET Framework 4.0 开发实现 WCF 服务实例详解(二)——实现Windows服务内嵌WCF服务

目录 引言 1. 创建一个新的Windows服务项目 2. 添加WCF服务 2.1 添加服务接口和实现 2.2 添加服务配置 3. 实现Windows服务 3.1 修改Service1类 3.2 在项目中添加ServiceInstaller 4. 安装和运行Windows服务 4.1 编译项目 4.2 使用InstallUtil.exe安装服务 …...

【ArcGIS/C#】调用控制台处理代码

代码示例 private static string[] run_conda_process(string command, Action<string> on_msg, CancellationTokenSource cancel){if (string.IsNullOrEmpty(command)){return new string[]{null,ArcGIS.Desktop.Internal.Core.Conda.Resources.Error_Unexpected + &qu…...

Redis相关知识总结(缓存雪崩,缓存穿透,缓存击穿,Redis实现分布式锁,如何保持数据库和缓存一致)

文章目录 1.什么是Redis&#xff1f;2.为什么要使用redis作为mysql的缓存&#xff1f;3.什么是缓存雪崩、缓存穿透、缓存击穿&#xff1f;3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

线程同步:确保多线程程序的安全与高效!

全文目录&#xff1a; 开篇语前序前言第一部分&#xff1a;线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分&#xff1a;synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分&#xff…...

企业如何增强终端安全?

在数字化转型加速的今天&#xff0c;企业的业务运行越来越依赖于终端设备。从员工的笔记本电脑、智能手机&#xff0c;到工厂里的物联网设备、智能传感器&#xff0c;这些终端构成了企业与外部世界连接的 “神经末梢”。然而&#xff0c;随着远程办公的常态化和设备接入的爆炸式…...

Device Mapper 机制

Device Mapper 机制详解 Device Mapper&#xff08;简称 DM&#xff09;是 Linux 内核中的一套通用块设备映射框架&#xff0c;为 LVM、加密磁盘、RAID 等提供底层支持。本文将详细介绍 Device Mapper 的原理、实现、内核配置、常用工具、操作测试流程&#xff0c;并配以详细的…...

HashMap中的put方法执行流程(流程图)

1 put操作整体流程 HashMap 的 put 操作是其最核心的功能之一。在 JDK 1.8 及以后版本中&#xff0c;其主要逻辑封装在 putVal 这个内部方法中。整个过程大致如下&#xff1a; 初始判断与哈希计算&#xff1a; 首先&#xff0c;putVal 方法会检查当前的 table&#xff08;也就…...

C++实现分布式网络通信框架RPC(2)——rpc发布端

有了上篇文章的项目的基本知识的了解&#xff0c;现在我们就开始构建项目。 目录 一、构建工程目录 二、本地服务发布成RPC服务 2.1理解RPC发布 2.2实现 三、Mprpc框架的基础类设计 3.1框架的初始化类 MprpcApplication 代码实现 3.2读取配置文件类 MprpcConfig 代码实现…...

React核心概念:State是什么?如何用useState管理组件自己的数据?

系列回顾&#xff1a; 在上一篇《React入门第一步》中&#xff0c;我们已经成功创建并运行了第一个React项目。我们学会了用Vite初始化项目&#xff0c;并修改了App.jsx组件&#xff0c;让页面显示出我们想要的文字。但是&#xff0c;那个页面是“死”的&#xff0c;它只是静态…...

如何通过git命令查看项目连接的仓库地址?

要通过 Git 命令查看项目连接的仓库地址&#xff0c;您可以使用以下几种方法&#xff1a; 1. 查看所有远程仓库地址 使用 git remote -v 命令&#xff0c;它会显示项目中配置的所有远程仓库及其对应的 URL&#xff1a; git remote -v输出示例&#xff1a; origin https://…...

渗透实战PortSwigger Labs指南:自定义标签XSS和SVG XSS利用

阻止除自定义标签之外的所有标签 先输入一些标签测试&#xff0c;说是全部标签都被禁了 除了自定义的 自定义<my-tag onmouseoveralert(xss)> <my-tag idx onfocusalert(document.cookie) tabindex1> onfocus 当元素获得焦点时&#xff08;如通过点击或键盘导航&…...

高抗扰度汽车光耦合器的特性

晶台光电推出的125℃光耦合器系列产品&#xff08;包括KL357NU、KL3H7U和KL817U&#xff09;&#xff0c;专为高温环境下的汽车应用设计&#xff0c;具备以下核心优势和技术特点&#xff1a; 一、技术特性分析 高温稳定性 采用先进的LED技术和优化的IC设计&#xff0c;确保在…...