一个ETL流程搞定数据脱敏

数据脱敏是什么？

数据脱敏是指在数据处理过程中，通过一系列的技术手段去除或者替换敏感信息，以保护个人隐私和敏感信息的安全的过程。数据脱敏通常在数据共享、数据分析和软件测试等场景下使用，它旨在降低数据泄露和滥用的风险。

常见的数据脱敏方法包括：

• 匿名化/泛化：通过对数据进行聚合、概括或者模糊处理，例如将具体的数值转换成范围值，以减少数据的精确性，从而保护个人隐私。

• 删除：直接删除数据中的敏感信息，确保敏感字段完全不可见。

• 加密：使用加密算法对数据进行加密处理，只有授权的用户才能解密获取原始信息。

• 替换：用虚拟的、无意义的数据替代真实的敏感信息，例如使用通用的标识符或者随机生成的数据。

• 脱敏工具：利用专门的脱敏工具或软件对数据进行处理，保证操作的规范性和可追溯性。

为什么会出现数据脱敏需求？

数据脱敏是指对敏感数据进行处理，以达到进行数据传输而不会泄露个人或机密信息的目的。出现数据脱敏的主要原因包括以下几个方面：

• 法律规定：个人隐私保护法日益完善，企业在接受并处理用户数据时需要遵守相应的法律规定，要求企业对用户数据进行匿名化，以保护用户隐私，避免泄露敏感信息。

• 数据安全意识增强：随着用户的信息安全意识的提高，企业越来越重视数据的安全性，为了避免敏感信息外泄，对数据进行脱敏处理成为必要的举措。

• 业务需求：随着数据驱动决策的重要性日益增加，企业需要在非生产环境中使用真实的数据来进行分析、测试和开发工作。数据脱敏可以满足这一需求，既能保障数据的真实性，又能保护数据的安全性。

• 避免数据泄露风险：在实际操作中，企业的用户数据可能会被员工或黑客通过各种途径获取，对数据进行脱敏处理可以减少风险。

综上所述，出现数据脱敏是由于对个人隐私保护的法律法规要求、数据安全意识的增强、业务需求以及避免数据泄露风险等多种因素的综合作用。

企业对该技术的需求度

脱敏方式是很多文章都有讲的一个话题，针对特定类型数据应该采用什么脱敏形式的建议也不少。但是，对于一个企业安全人员来讲，当我们去推动产研部门进行合理脱敏的时候，遇到的困难并不是业务研发不知道应该用什么脱敏，而是类似安全要求带来的改造成本以及对用户的影响。比如，脱敏了这些问题该如何解决：

• 系统庞大复杂，有很多个页面，不知道多少个接口涉及敏感数据，对代码要改造到什么时候？

• 系统不停地在迭代上新功能，业务研发要增加安全研发内容，正常产品迭代周期会加长多少？

• 系统如果是购买第三方的，没有源代码，想改也改不了，怎么办？

• 用户在某些情况下需要看到这些敏感数据，否则没法工作了，怎么办？

所以企业对数据进行脱敏处理前，要选择合适的方案和规划。

实践案例

以ETLCloud社区版为例，新建流程拉取Mysql表中用户数据进行手机号脱敏处理：

库表输入

输入字段

日志输出打印效果

字段绑定规则

再次运行打印