当前位置: 首页 > article >正文

数据安全_笔记系列06:数据生命周期管理(存储、传输、使用、销毁)深度解析

数据安全_笔记系列06:数据生命周期管理(存储、传输、使用、销毁)深度解析

数据生命周期管理(存储、传输、使用、销毁)详解

数据生命周期管理(Data Lifecycle Management, DLM)是围绕数据从创建到销毁的全流程安全保护,覆盖存储、传输、使用、销毁四个核心阶段。以下从 技术措施、风险场景、工具方案、合规要求 等维度,系统性解析各阶段管理要点:


一、存储阶段:保障数据静态安全

1. 核心目标
  • 机密性:防止未经授权访问敏感数据。

  • 完整性:确保数据不被篡改或损坏。

  • 可用性:数据可随时被授权用户访问。

2. 安全措施
技术手段说明工具示例
加密存储静态数据加密(如AES-256、SM4)AWS S3 Server-Side Encryption、VeraCrypt
访问控制基于角色(RBAC)或属性(ABAC)的权限管理Apache Ranger、AWS IAM
数据冗余与备份多副本存储(跨可用区/区域),定期备份Veeam、BorgBackup
分类分级存储根据敏感等级选择存储介质(如SSD存储高敏感数据,磁带存储归档数据)IBM Spectrum Discover、Microsoft Purview
3. 风险场景与应对
  • 场景1:数据库未加密导致拖库泄露。

    • 方案:启用透明数据加密(TDE),如MySQL TDE或Oracle Advanced Security。

  • 场景2:备份磁带丢失引发数据泄露。

    • 方案:备份数据加密 + 物理存储柜双因素认证。

4. 合规要求
  • GDPR:要求个人数据加密存储(Article 32)。

  • PCI DSS:存储的银行卡号必须加密(Requirement 3.4)。


二、传输阶段:保障数据动态安全

1. 核心目标
  • 防窃听:防止数据在传输中被截获。

  • 防篡改:确保数据完整性和来源真实性。

2. 安全措施
技术手段说明工具示例
传输加密使用TLS 1.3、IPSec或国密SSL协议Let’s Encrypt(证书)、OpenVPN
数字签名验证数据来源(如RSA/SM2签名)GPG、Java Security API
数据分片拆分数据并通过不同路径传输(降低单点泄露风险)Aspera FASP(高速传输协议)
网络隔离通过VLAN、SD-WAN隔离敏感数据传输通道Cisco ACI、VMware NSX
3. 风险场景与应对
  • 场景1:HTTP明文传输用户密码被嗅探。

    • 方案:全站强制HTTPS(HSTS配置),禁用弱密码套件(如TLS 1.0)。

  • 场景2:API接口未验签导致数据篡改。

    • 方案:对请求参数进行HMAC签名(如AWS Signature V4)。

4. 合规要求
  • HIPAA:要求电子健康信息(ePHI)传输加密。

  • 中国《数据安全法》:重要数据跨境传输需通过安全评估。


三、使用阶段:保障数据操作安全

1. 核心目标
  • 最小权限:仅允许必要用户访问必要数据。

  • 操作可追溯:记录所有数据访问行为。

2. 安全措施
技术手段说明工具示例
动态脱敏按用户权限实时遮蔽敏感字段(如客服仅见手机号后四位)Oracle Data Redaction、Imperva
水印追踪嵌入隐形水印,追踪泄露源头(如文档、图片)Digimarc、Microsoft Azure Information Protection
审计日志记录数据访问、修改、删除操作ELK Stack、Splunk
沙箱环境在隔离环境中处理敏感数据,防止外泄Docker容器、VMware Workspace ONE
3. 风险场景与应对
  • 场景1:内部员工导出客户数据并出售。

    • 方案:部署DLP(数据泄露防护系统),禁止未授权外发。

  • 场景2:数据分析时误用未脱敏数据。

    • 方案:在BI工具中配置动态脱敏策略(如Tableau数据脱敏插件)。

4. 合规要求
  • CCPA:用户可拒绝企业出售其数据(Opt-out)。

  • ISO 27001:要求记录数据访问日志(Control A.12.4)。


四、销毁阶段:保障数据终结安全

1. 核心目标
  • 不可恢复:确保数据彻底删除,无法通过技术手段复原。

  • 合规留存:满足法律要求的数据保留期限(如财务数据保留5年)。

2. 安全措施
技术手段说明工具示例
逻辑擦除多次覆写数据(如DoD 5220.22-M标准7次覆写)DBAN(Darik's Boot and Nuke)
物理销毁粉碎硬盘、消磁存储介质Degausser(消磁机)、硬盘粉碎机
云资源销毁删除云存储对象并清空回收站(需确认提供商彻底清除)AWS S3对象版本控制删除、Azure资源锁
审计证明生成销毁报告,证明数据不可恢复合规管理平台(如OneTrust)
3. 风险场景与应对
  • 场景1:二手硬盘未彻底擦除导致数据泄露。

    • 方案:使用NIST SP 800-88标准擦除(加密后删除密钥)。

  • 场景2:云服务商备份保留导致数据残留。

    • 方案:与云厂商签订数据处理协议(DPA),明确销毁责任。

4. 合规要求
  • GDPR:用户可要求“被遗忘”(Article 17)。

  • 中国《个人信息保护法》:数据超出保留期限后需及时删除。


五、全生命周期管理工具链

阶段开源工具商业工具
存储Ceph(加密存储)、Vault(密钥管理)AWS KMS、Thales CipherTrust
传输OpenSSL、WireGuard(VPN)F5 BIG-IP(SSL卸载)、Imperva SecureSphere
使用Apache Atlas(元数据管理)IBM Guardium、Microsoft Purview
销毁Shred(Linux文件粉碎)Blancco(数据擦除)、Iron Mountain(物理销毁)

六、实施流程与最佳实践

  1. 数据分类分级标记数据的敏感度(如“公开”“机密”),确定各阶段保护等级。

  2. 制定策略

    • 保留策略定义数据存储期限(如日志保留180天)。

    • 访问策略基于角色限制操作权限。

  3. 技术落地

    • 存储阶段启用加密与备份;传输阶段强制TLS;使用阶段部署动态脱敏;销毁阶段安全擦除。

  4. 审计改进

    • 定期审查日志,验证策略有效性(如检查未加密存储的数据)。


七、行业案例

1. 金融行业:信用卡数据管理
  • 存储:AES-256加密卡号,存储于独立安全区。

  • 传输:PCI DSS要求使用TLS 1.2+传输交易数据。

  • 使用动态脱敏显示卡号后四位。

  • 销毁:到期换卡后,旧卡号立即标记为无效并安全删除。

2. 医疗行业:电子病历管理
  • 存储SM4加密病历,存储于本地化数据中心。

  • 传输:通过VPN加密传输至合作医院。

  • 使用医生仅可查看当前患者病历,操作日志存档5年。

  • 销毁:患者死亡10年后,病历彻底销毁并出具证明。


八、总结

数据生命周期管理通过 分阶段防护、技术与管理结合、自动化工具支撑,实现数据从生到死的全程可控。核心原则:

  1. 安全前置:在设计阶段即考虑加密、权限等控制措施。

  2. 合规驱动:根据业务地域选择适配法规(如GDPR与中国法并行)。

  3. 持续优化:通过审计与演练迭代改进防护策略。

数据生命周期管理涵盖数据从产生到销毁的全过程,以下是对存储、传输、使用、销毁各阶段的深度解析:

存储阶段

  • 存储架构设计
    • 分层存储根据数据的访问频率和重要性,将数据存储在不同性能的介质上,如高速固态硬盘存储热数据,机械硬盘存储冷数据,以平衡存储成本和访问效率。
    • 分布式存储把数据分散存储在多个节点上,提高存储的可靠性和可扩展性,常见的有分布式文件系统(如 Ceph 等)和分布式数据库(如 Cassandra 等)
  • 数据备份策略
    • 全量备份:定期对所有数据进行完整备份,通常在业务低谷期进行,如每周日凌晨。
    • 增量备份:只备份自上次备份以来发生变化的数据,可每天进行,减少备份时间和存储空间占用。
    • 差异备份:备份自上次全量备份以来发生变化的数据,结合全量备份使用,恢复时只需全量备份和最新的差异备份。
  • 存储安全保障
    • 数据加密采用加密算法对存储的数据进行加密,如 AES 算法,确保数据在存储介质上以密文形式存在,防止数据被窃取后泄露内容。
    • 访问控制与权限管理通过身份验证、授权和访问控制列表(ACL)等技术,严格限制用户对存储数据的访问权限,不同角色只能访问其职责范围内的数据。

传输阶段

  • 传输协议选择
    • 安全协议优先对于敏感数据,优先使用 SSL/TLS 等加密协议,如 HTTPS 协议用于网页数据传输,保证数据在网络传输过程中的保密性和完整性。
    • 根据场景选择:对于实时性要求高的场景,如视频直播,可使用 UDP 协议结合适当的加密和纠错机制;对于可靠性要求极高的文件传输,可使用 FTP over SSL/TLS 等安全增强的协议。
  • 数据传输监控
    • 流量监测:通过网络监控工具,实时监测数据传输的流量、带宽使用情况,及时发现异常流量波动,可能预示着数据泄露或网络攻击。
    • 传输状态跟踪:记录数据传输的源地址、目的地址、传输时间、传输包数量等信息,以便对传输过程进行追溯和审计,确保数据传输的可查性。
  • 传输安全防护
    • VPN 技术:建立虚拟专用网络(VPN),在公共网络上创建安全的专用通道,对传输的数据进行加密和封装,使数据仿佛在企业内部网络中传输,保障远程办公等场景下的数据安全。
    • 数据脱敏在数据传输前,对敏感数据进行脱敏处理,如将身份证号码、银行卡号等替换为虚拟值或部分隐藏,降低数据在传输过程中泄露的风险。

使用阶段

  • 数据共享与协作
    • 内部共享规范:制定企业内部的数据共享政策和流程,明确不同部门和团队之间的数据共享范围、方式和审批流程,确保数据在内部的合理流通和使用。
    • 外部合作安全:与外部合作伙伴共享数据时,签订严格的数据共享协议,明确双方的数据保护责任和义务,对共享数据进行严格的安全评估和监控。
  • 数据挖掘与分析
    • 合规性前置在进行数据挖掘和分析前,确保数据的使用符合法律法规和隐私政策,特别是对于个人数据的分析,要获得用户的明确授权。
    • 隐私保护技术应用采用差分隐私、同态加密等技术,在保证数据分析结果准确性的同时,保护数据主体的隐私信息不被泄露。
  • 使用安全审计
    • 行为审计通过日志记录等方式,详细记录用户对数据的查询、修改、删除等操作行为,以便发现异常操作和潜在的安全威胁。
    • 数据溯源:建立数据溯源机制,能够追踪数据的来源和使用路径,在出现数据安全问题时,快速定位问题源头,采取相应的措施。

销毁阶段

  • 销毁方式选择
    • 软件擦除:对于存储在电子介质上的数据,可使用专业的擦除软件,通过多次覆盖数据的方式,确保数据无法被恢复,如使用 DBAN 软件对硬盘数据进行擦除。
    • 物理销毁:对于报废的存储设备,如硬盘、U 盘等,可采用物理粉碎、消磁等方式进行销毁,确保存储介质上的数据无法再被读取。
  • 销毁流程规范
    • 审批流程:建立严格的销毁审批流程,明确申请、审核、批准等环节的责任人和操作流程,确保数据销毁是经过授权和必要的。
    • 监督执行:在数据销毁过程中,安排专人进行监督,确保销毁操作按照规定的方式和流程进行,防止数据未被彻底销毁或被不当处理。
  • 销毁验证与记录
    • 销毁验证:在数据销毁后,采用数据恢复工具等进行验证,确保数据无法被恢复,形成销毁验证报告。
    • 记录存档:将数据销毁的相关信息,如销毁时间、销毁方式、参与人员、销毁验证结果等进行详细记录,并存档保存一定时间,以备审计和查询。

相关文章:

数据安全_笔记系列06:数据生命周期管理(存储、传输、使用、销毁)深度解析

数据安全_笔记系列06:数据生命周期管理(存储、传输、使用、销毁)深度解析 数据生命周期管理(存储、传输、使用、销毁)详解 数据生命周期管理(Data Lifecycle Management, DLM)是围绕数据从创建…...

后端返回文件流,前端导出excel文件

1、当后端接口返回文件流时,需前端导出excel文件,在请求中添加 responseType: blob限制条件,根据返回的文件流导出 封装的方法: /** * 公共的导出excel方法 * param {*} content 后端接口返回的二进制文件 * param {*} name 导出…...

Python开发 Flask框架面试题及参考答案

目录 Flask 的核心设计理念是什么?与 Django 相比有哪些显著差异? 解释 Flask 框架的核心理念及其作为 “微框架” 的优缺点 Flask 的依赖库有哪些?简述 Werkzeug 和 Jinja2 的作用 什么是 WSGI?Flask 如何基于 WSGI 实现服务端与应用的交互 解释 RESTful API 的设计原…...

Python 3.11 69 个内置函数(完整版)

一、数学与数值运算(12个) 函数 说明 示例 abs(x) 绝对值 abs(-5)→ 5 divmod(a, b) 返回(a//b, a%b) divmod(7,3)→ (2,1) max(iterable) 最大值 max([1,2,3])→ 3 min(iterable) 最小值 min([1,2,3])→ 1 pow(a, b) a^b(等…...

蓝桥杯备考:贪心算法之矩阵消除游戏

这道题是牛客上的一道题,它呢和我们之前的排座位游戏非常之相似,但是,排座位问题选择行和列是不会改变元素的值的,这道题呢每每选一行都会把这行或者这列清零,所以我们的策略就是先用二进制把选择所有行的情况全部枚举…...

跳跃游戏两则

跳跃游戏 给你一个非负整数数组 nums ,你最初位于数组的 第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。 判断你是否能够到达最后一个下标,如果可以,返回 true ;否则,返回 false 。 思路 这里只…...

机器视觉--相机曝光

在现代工业生产的精密舞台上,机器视觉技术已然成为推动生产自动化、智能化的关键力量。而工业相机作为机器视觉系统的 “眼睛”,其曝光环节更是决定了视觉信息获取的质量与精度,如同为工业生产赋予了一双洞察入微的 “智慧之眼”,…...

基于 CFD 预测的机器学习第 2 部分:在 Benchmark 应用程序上使用 Stochos 预测流场

了解机器学习和 Stochos 如何彻底改变制造业的 CFD 预测。 挑战 预测复杂流体动力学场景中的流场一直是工程师和科学家面临的重大挑战。传统的计算流体动力学 (CFD) 方法需要大量的计算资源和时间,因此难以处理实时预测和大规模模拟。 此外…...

批量导出数据库表到Excel

这篇文章将介绍如何批量的将多个甚至成千上万的数据库表导出为Excel文件。 准备数据 如下图是数据库里的表,我们需要将它们全部导出为excel文件,这里以SQL Server数据库为例 新增导出 打开的卢导表工具,新建数据库连接,这里以S…...

力扣提升第一天

力扣提升第一天 题目链接:https://leetcode.cn/problems/design-memory-allocator/?envTypedaily-question&envId2025-02-25 一开始解题思路 暴力解决法 我奔着先从简单的写法做起,之后再想办法进行改进,心里已经预料到会出现超出时间…...

uni-app 开发 App 、 H5 横屏签名(基于lime-signature)

所用插件&#xff1a;lime-signature 使用到 CSS 特性 绝对定位transform 旋转transform-origin transform 原点 复习一下定位元素&#xff08;相对定位、绝对定位、粘性定位&#xff09; 代码# <template><view class"signature-page"><view clas…...

【Python】Python顺序语句经典题(四)

Python顺序语句经典练习题例题&#xff08;四&#xff09;。题目来源&#xff1a;Acwing 前三期合集&#xff1a;【Python】Python顺序语句经典题合集-CSDN博客 目录 1.最大值 题目描述 解题思路 AC代码 2.距离 题目描述 AC代码 3.燃料消耗 题目描述 AC代码 4.钞票…...

mysql的字符集和比较规则

mysql的字符集和比较规则 一、字符集&#xff08;Character Set&#xff09;二、比较规则&#xff08;Collation&#xff09;三、客户端与服务器的字符集转换四、注意事项总结 深度解读mysql是怎样运行的 MySQL的字符集和比较规则是其处理字符串存储、传输及比较的核心机制&…...

Vue3 + Vite + TS,使用 配置项目别名属性:server

官网地址传送门 点哇点哇&#xff0c;vite 官网传送门 直接上马 server: {https: false, // 是否开启 httpsopen: true, // 是否自动在浏览器中打开port: 8001, // 端口号host: "0.0.0.0",// 跨域代理proxy: {/api: {target: "http://localhost:3000", …...

03_pyqt5 + vlc 实现视频播放器

1.功能需求如图 按钮: 播放/暂停, 前进/后退, 视频上一个/下一个, 打开视频进度条: 视频进度条显示, 进度条拖拽, 音量控制按键控制: 1,2,3,4缩放画面大小, 2.方案选择 开发语言: python UI界面: pyqt5 qt_designed 设计ui布局 视频编码: python-vlc 方案说明: 视频解码可…...

Grafana使用日志5--如何重置Grafana密码

背景 有时候当账号太多的时候&#xff0c;根本记不住所有的账号密码&#xff0c;这时候就很容易登录失败&#xff0c;这时候怎么办呢&#xff1f; 接下来就让我来给大家演示一下Grafana的账号如果忘记了的话&#xff0c;该怎么找回自己的账号密码 操作 让我们来看一下具体的…...

使用 pytest-mock 进行 Python 高级单元测试与模拟

一、单元测试与模拟的意义 在软件开发中,单元测试用于验证代码逻辑的正确性。但实际项目中,代码常依赖外部服务(如数据库、API、文件系统)。直接测试这些依赖会导致: 测试速度变慢测试结果不可控产生副作用(如真实发送邮件)模拟(Mocking) 技术通过创建虚拟对象替代真…...

索提诺比率(Sortino Ratio):更精准的风险调整收益指标(中英双语)

索提诺比率&#xff08;Sortino Ratio&#xff09;&#xff1a;更精准的风险调整收益指标 &#x1f4c9;&#x1f4ca; &#x1f4cc; 什么是索提诺比率&#xff1f; 在投资分析中&#xff0c;我们通常使用 夏普比率&#xff08;Sharpe Ratio&#xff09; 来衡量风险调整后的…...

prometheus+node_exporter+grafana监控K8S信息

prometheusnode_exportergrafana监控K8S 1.prometheus部署2.node_exporter部署3.修改prometheus配置文件4.grafana部署 1.prometheus部署 包下载地址&#xff1a;https://prometheus.io/download/ 将包传至/opt 解压 tar xf prometheus-2.53.3.linux-amd64.tar.gz 移动到…...

IDEA关闭SpringBoot程序后仍然占用端口的排查与解决

IDEA关闭SpringBoot程序后仍然占用端口的排查与解决 问题描述 在使用 IntelliJ IDEA 开发 Spring Boot 应用时&#xff0c;有时即使关闭了应用&#xff0c;程序仍然占用端口&#xff08;例如&#xff1a;4001 端口&#xff09;。这会导致重新启动应用时出现端口被占用的错误&a…...

kafka的ACL配置的sasl.kerberos.principal.to.local.rules配置解释

kafka配置acl认证的用户名转换规则 1、Kerberos中的介绍2、自定义sasl user name3、自定义ssl 的用户名4、关于kafka配置kerberos以及开启acl的实践 1、Kerberos中的介绍 Kerberos 关于此配置项的解释 https://web.mit.edu/Kerberos/krb5-latest/doc/admin/conf_files/krb5_co…...

山东大学软件学院nosql实验三

实验题目&#xff1a; 用Java做简单查询(2学时) 实验内容 用API方式&#xff0c;做简单查询。 实验要求 在以下要求中选择至少2个&#xff0c;使用Java语言实现数据查询&#xff0c;最终把数据输出到前端界面。 &#xff08;1&#xff09;找出年龄小于20岁的所有学生 &…...

Feign 类型转换问题解析:如何正确处理 `ResponseEntity<byte[]>` 返回值

在微服务架构中,Feign 是一种常见的用于服务间调用的客户端,它允许我们通过声明式接口来调用远程服务。使用 Feign 时,我们通常通过接口方法的返回类型来接收服务的响应体。然而,某些情况下,我们会遇到 Feign 无法正确解析响应体类型的问题,尤其是当服务返回一个如 Respo…...

零样本学习 zero-shot

1 是什么 2 如何利用零样本学习进行跨模态迁移&#xff1f; demo代码 安装clip pip install ftfy regex tqdm pip install githttps://github.com/openai/CLIP.git import torch import clip from PIL import Image# 加载 CLIP 模型 device "cuda" if torch.cuda.i…...

《深度学习实战》第3集:循环神经网络(RNN)与序列建模

第3集&#xff1a;循环神经网络&#xff08;RNN&#xff09;与序列建模 引言 在深度学习领域&#xff0c;处理序列数据&#xff08;如文本、语音、时间序列等&#xff09;是一个重要的研究方向。传统的全连接网络和卷积神经网络&#xff08;CNN&#xff09;难以直接捕捉序列中…...

mac下载MAMP6.8.1

因为mac的小皮面板没有php7.4了 链接&#xff1a;c9cc270e6961c17c.dmg官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘 鹅选一 附上大佬写的教程&#xff1a;MAMP PRO教程 - 牛奔 - 博客园...

动态表头导出EasyExcel

在 Spring Boot 中结合 EasyExcel 实现动态表头导出&#xff08;无实体类&#xff0c;表头和字段&#xff08;前端传表名&#xff0c;字段值动态查询&#xff0c;返回List<Map<String,Object>>&#xff09;由前端传递&#xff09;可以通过以下步骤实现。以下是完整…...

Python常见面试题的详解16

1. 如何强行关闭客户端和服务器之间的连接&#xff1f; 在网络编程中&#xff0c;有时需要强行中断客户端和服务器之间的连接。对于基于 TCP 协议的连接&#xff0c;由于其面向连接的特性&#xff0c;需要采取特定的步骤来确保连接被正确关闭&#xff1b;而 UDP 是无连接协议&a…...

BUU41 [GYCTF2020]FlaskApp1【SSTI】

题目&#xff1a; 加密处没啥事&#xff0c;但是解密的地方提交{{7*7}}就会返回报错界面&#xff0c;顺便把代码也爆出来了 text_decode base64.b64decode(text.encode()) 先将字符串 text编码为字节对象&#xff0c;然后使用 base64.b64decode 函数对这个字节对象进行 Base…...

今日运维之-Mac笔记本python环境问题

1. 问题&#xff1a;MAC升级系统后git报错&#xff1f; Error: Cant create update lock in /usr/local/var/homebrew/locks! Fix permissions by running:sudo chown -R $(whoami) /usr/local/var/homebrew Traceback (most recent call last):11: from /usr/local/Homebrew/…...