软信天成：告别手动编码，实现智能自动化云数据管理

数字化转型浪潮之下，各个企业都在大力投资新的基于云的流程、平台和环境，以期获取可扩展性、弹性、敏捷性和成本效益等优势。

这些趋势要求企业IT部门能够帮助组织，在对分析进行现代化改造的过程中达到云就绪或云优先状态。事实上，IT部门在实际工作中可能无法集成本地系统和云应用功能程序来有效地使用数据。

一、成本高昂的手动编码

手动编码的数据集成作为一种快速、便宜的数据管道构建方式，一开始被很多企业采纳，但随着后续业务的深入，转向手动编码的组织很快发现手动编码只适用于入门成本低的快速概念验证（POC），存在诸多不足。

1. 成本高昂：手动编码从开发到部署全程需要调整优化，价格也随着时间的推移而逐步上涨，部署、操作和维护成本都极其昂贵。
2. 容易过时：手动编码的数据集成在建成运行时就已过时，无法解决多云环境中的新问题，因此，开发人员必须在技术发生变化、升级甚至底层处理引擎发生变化时重新设计和编码。
3. 缺乏自动化特性：手动编码意味着开发、测试、部署和源代码管理流程几乎都是手动完成，由于对数据集成管道的要求太多，IT团队不能一一满足，无法支持扩展以适应数据驱动型企业。
4. 缺乏企业广度：数据质量和数据治理对确保业务使用可信数据极为关键，手动编码无法在企业范围内实现数据集成、数据质量和元数据管理。

二、利用元数据驱动的智能自动化构建高效的数据管道

眼下，随着lakehouse的兴起，企业需要尽量避开手动编码的弊端，利用以元数据驱动的智能和自动化来构建高效的数据管道。虽然许多IT部门仅关注数据集成，但是更加广泛的解决方案是满足当今企业中整个数据管理生命周期需求的必要手段，以下是数据管理的几个关键要素。

1、数据集成：为企业云数据仓库、数据湖和lakehouse输送数据。

• 无编码集成功能，提供模板和 AI 驱动的最佳转换建议

• 大规模摄取文件、数据库、变更数据和流数据

• 下推优化数据库、云数据仓库和平台即服务 (PaaS) lakehouse

• 无服务器和弹性扩展

• 云端基于 Spark 的处理

• 广泛、原生的连接性

• 流处理

• AI 和机器学习增强功能，以处理架构漂移和复杂的文件解析

• 支持数据和机器学习操作（DataOps 和 MLOps）

2、数据质量：确保数据纯净、标准、可信且企业内数据一致。

• 与数据治理集成的数据剖析

• 数据质量规则和自动规则生成

• 用于管理值列表的数据字典

• 清理、标准化、解析、验证和消除重复记录/整合流程

• 与数据集成解决方案集成

• 数据质量分析

• 云端基于 Spark 的处理

3、元数据管理：支持企业在整个环境中实现智能、自动、端到端的可见性和沿袭。

• 数据发现

• 端到端沿袭

• 资产标记和数据审编

• 了解技术元数据、业务元数据、运营元数据和使用元数据

• 涵盖本地和云数据库（数据仓库和数据湖）、应用程序、ETL、BI工具和其他内容的连接性

4、云原生功能：支持多云环境、以API为驱动力、以微服务为基础，基于AI和机器学习构建云原生解决方案。

• AI/ML 推动的自动化，例如最佳转换建议、数据管道相似性、操作提醒和自动调整

• 集装箱化

• 无服务器架构

• 极简安装和设置

• 自动升级

• 基于使用情况定价

• 具有可信认证

• 集成的全栈高可用性和高级安全性（即平台、网络、基础设施）

最终企业可通过元数据驱动的智能自动化数据管理大幅缩小本地部署和云部署之间的差距，从一到两个项目开始，分步实施通用的方法、流程和技术，重复利用现有项目资产，以更低的成本和更快的速度实现新的业务功能，释放多云和混合环境中云数据仓库和云数据湖的所有潜能。