从“数据孤岛”、Data Fabric（数据编织）谈逻辑数据平台

提到逻辑数据平台，其核心在于“逻辑”，与之相对的便是“物理”。在过去，为了更好地利用和管理数据，我们通常会选择搭建数据仓库和数据湖，将所有数据物理集中起来。但随着数据量、用数需求和用数人员的持续激增，数据架构的复杂度和组织架构的复杂度对物理集中的方式带来诸多挑战。

比如，如何确保企业中的每个人都能及时获取到正确的数据，以支持他们的业务决策。再比如，企业在搭建了湖仓之后，还需要将业务数据从业务数据库迁移到湖仓之中，但由于各种性能问题，就需要将数据进一步迁移到不同类型的数据集市，这就产生了多次不必要的数据复制、计算和存储，给企业形成巨大的成本压力。

同时，由于合规和组织结构的复杂性，企业实际上并不能将所有数据集中到单一的湖仓之中，“数据孤岛”广泛存在。

也就是在这种背景下，逻辑数据平台开始兴起。

所谓逻辑数据平台，是一种通过数据虚拟化的技术手段，将企业多源异构数据进行逻辑层面的统一整合，形成物理分散但逻辑统一的虚拟数仓，它允许用户在不搬迁原始数据的前提下，实现多源异构数据的集成整合，并通过逻辑视图提供统一的数据服务，以及统一的数据访问控制，实现高效、轻松、灵活地访问、查询和操作数据，以便更好地支持业务决策。

逻辑数据平台兴起的背后，离不开 Data Fabric（数据编织）这一全新的数据管理理念的支撑。Gartner 将其列为“2021 年十大数据和分析技术趋势”之一，其核心理念在于通过数据虚拟化的技术手段，实现数据逻辑上的集中管理。

在 Aloudata 看来，Data Fabric（数据编织）的关键在于优化跨源异构数据的发现与访问，实现数据的灵活且业务可理解的交付，在于连接数据而非集中数据，强调自助服务而非专家服务，以及主动智能而非被动人工操作。

Data Fabric（数据编织）架构通过集成数据管理功能，并运用 AI 能力进行语义探索、分析和推荐，将被动的数据治理策略转变为主动的数据治理策略。这样的转变不仅加快了数据价值实现的速度，还提高了业务适应性、数据洞察的敏捷性，有效消除了数据孤岛，降低了成本和风险，增强了业务协作和数据安全。

作为国内 Data Fabric（数据编织）架构理念的实践者和引领者，Aloudata 基于在 EB 级别数据管理领域的深厚经验，开创性地提出“NoETL”这一创新思想，与 Data Fabric（数据编织）的核心理念与技术实现高度一致，旨在消除传统的基于人工 ETL 的数据管理瓶颈，实现数据管理高度自动化，更加高效地完成数据交付和使用。

在此基础上，Aloudata 打造了 Aloudata AIR 逻辑数据平台，通过自研的数据虚拟化技术，以及查询下推和查询加速功能，帮助用户轻松实现全域数据的逻辑连接、快速访问和查询，并能够根据业务分析需求，进行跨数据源的数据整合，以及灵活开展数据分析和应用工作。

• 多源异构的数据融合：支持 50 种不同的数据连接方式，包括传统数据库、数据湖、数据仓库、各类 API 服务和应用，以及非同步数据和用户本地数据。这使得连接全域各类数据并进行快速分析变得异常简单。
• 逻辑化数据整合：不需要关注底层技术细节，可以通过 SQL 语言去表达和定义需求，或通过拖拽式界面来实现数据准备；支持跨源、多级逻辑视图定义，大大简化了各种复杂场景下的数据整合工作。
• 自适应数据加速：内置的 MPP 引擎可用于提高某些高性能场景的数据源查询性能。此外，自适应物化加速和智能下推功能，确保在大规模数据量下依然能实现秒级的交互式响应速度。
• 集中数据治理与控制：管理人员可以在 Aloudata AIR 中集中设置安全和合规的访问策略，包括细致的访问控制和对敏感数据的动态脱敏处理，确保数据的安全性。
• 统一的数据资产目录：提供统一的数据资产目录，它不仅有技术语言描述，还包括符合业务语言的描述。用户可以使用自然语言轻松找到所需数据，甚至系统会根据用户角色和需求主动推荐相关数据。
• 标准开放的数据服务：找到所需数据后，可以通过标准化的数据服务将这些数据连接到各种工具上，无论是用于可视化分析的工具，还是更高级的数据科学或 AI 工具，都可以在自己熟悉和喜爱的环境中进行工作。

目前，Aloudata AIR 逻辑数据平台已在多个极高复杂度的数据生产和消费环境中落地应用，帮助招商银行构建了统一的敏捷数据使用平台，使业务团队不再四处寻找所需数据，在一个地方即可统一查找和理解数据，并通过逻辑视图定义和自动化编排，更轻松地处理和准备数据，目前每月由业务团队自助生成的数据已占总数据的 70% 以上，ETL 压力显著降低。同时，动态集成和自动化编排减少了不必要的数据复制、计算和存储，至少节约了 50% 以上的存算成本。

如果您最近正关注“逻辑数据平台”，或者计划考虑通过统一数据服务平面屏蔽底层引擎的差异性，提升业务用数效率，不妨先了解下 Aloudata AIR 逻辑数据平台，或许能为您带来新的思路。