数据库、数据中台、数据仓库、数据湖区别

        数据时代，各行业的企业都已经开始通过数据库来沉淀数据，但是真的论起数据库、数据仓库、数据中台，还是新出现的数据湖，它们的概念和区别，可能知道的人就比较少了，今天我们详细来比较了解一下。

一、数据仓库是什么

        事实上，很多人在看到数据仓库的第一眼，就把数据仓库当成了数据库。当然这也很正常，毕竟从名字来看这两者确实区别不大，真正区分两者的是定位、作用等更深一层的东西。不过在这里还是先解释数据仓库的概念，不同之处后边会进行详细讲解。

        数据仓库是一个面向主题的、集成的、随时间变化但信息本身相对稳定的数据集合，用于支持管理决策过程。其本质就是完成从面向业务过程数据的组织管理到面向业务分析数据的组织和管理的转变过程，也是商业智能BI中数据仓库的主要作用。

        数据仓库就像企业的总的大仓库，能够存储不同来源、不同格式的数据，并且可以通过ETL和数据模型，对数据进行高质量的筛选，分级分类进行存储。具有很强的稳定性，不会频繁的进行增删改等操作，能够反应历史变化。

        用通俗的话来说就是数据仓库就像一个终端的大仓库，其他小仓库的各种货品会通过各种方式统一存储到这里，然后通过仓库位置的划分、货品的摆放进行归纳分类，实现规范、标准的从存放，到分类，再到使用的完整过程。

二、数据仓库和数据库有什么不同

        其实数据仓库和数据库跟现实中的仓储系统是有很多相似之处的，企业各部门的数据库就相当于一个个小的产业库，对应了企业的各个部门。而数据仓库相当于是一个终端仓库，其中存储的物品是由各个小的仓库运送的，是各个数据库的集合体，一个更大的综合数据库。

        此外，数据库和数据仓库最不同的还是服务对象和作用。上边也提到了，数据库基本上是服务于各个部门，是业务信息系统的附属品，也就是我们常在信息化建设初期中提到的ERP、OA、CRM等业务系统。这些数据库是服务于各种业务系统以及业务软件，主要是通过业务流程发挥作用。

        而数据仓库就不一样了，它不是服务于业务信息化系统的，它是服务于分析型应用的。更多的是通过各种商业智能BI前端可视化分析工具或者报表工具来访问数据仓库，最终是面向报表查询，数据分析服务，为业务人员提供复盘、预测，为企业管理人员提供决策信息的。

三、数据中台是什么

        回看时间，数据中台虽然是一个新兴的概念，但也已经有数年的发展时间，按理说应该已经有一个主流的解释来定义数据中台的形态，但实际上数据中台的界定依旧模糊，分类也比较混乱，缺少对于定义和价值的判断，所在在这里谈到的数据中台也只能代表个人的看法。

        一般来说，数据中台是一种将企业沉淀的大量业务数据赋予价值变成数据资产，并通过持续的数据应用为企业业务服务，从而实现数据价值，让数据真正成为企业重要资产，发挥作用的系统和机制

        数据中台强调的是连接，企业通过数据中台提供的方法和运营机制，将数据连接起来，形成汇聚整合、提纯加工、建模处理、算法学习，再通过连接以共享数据服务的方式将复杂的数据处理过程提供给业务使用，从而实现数据与业务的连接。

        用通俗的话来说，数据中台就是让企业的数据动起来的实现企业全面数据化的解决方案，主要价值在于数据服务，也就是可复用性。其本质是因为数据从业务系统中产生并储存，而业务系统反过来也需要利用数据分析来优化改进业务流程，那么就可以把业务系统的数据存储和计算能力抽象，交给独立的数据处理平台提供储存和计算能力，这就是数据中台产生的真正原因。

四、什么是数据湖

         数据湖从本质上来讲，是一种企业数据架构方法，物理实现上则是一个数据存储平台，用来集中化存储企业内海量的、多来源，多种类的数据，并支持对数据进行快速加工和分析。

五、数据湖与数据仓库的区别

区别：

        1、从使用对象来看：数据仓库主要是给BI分析的数据分析师使用的，而数据湖是给AI处理的数据科学家使用，数据仓库也可以给AI使用，但是侧重点是BI。

        2、从数据处理的过程来看：数据仓库是ETL，抽取-清洗-加载，而数据湖是ELT,抽取-加载-清洗，即数据湖首先是直接讲数据存储，后续使用再进行清洗，而数据仓库在创建之初已经明确应用场景，所以先清洗再加载。

        3、从使用用途来看，数据仓库有明确的使用场景，即明确的数据分析的主题场景，而数据湖是不确定数据有什么使用场景，先存储起来，后面再进行探索使用

        4、从存储的数据类型来看，数据仓库存储的主要是结构化数据，而数据湖存储的是结构化半结构化和非结构化的数据，主要存储的是半结构化和非结构化的数据

        5、数据仓库的数据质量是通过数据治理实现数据价值，而数据湖的数据质量主要目的是具备高质量标准，确保数据可信、可靠、具有正确的含义和目的，主要是为了数据存储。

相似点：

        1、数据湖和数据仓库都需要元数据管理，如果没有元数据管理，则数据湖会变成数据沼泽不知道存储的数据是什么，无法再次使用，所以数据湖也是需要通过元数据管理将数据变成数据资源。另外元数据管理需要按照因归尽归，因收尽收的原则。

        2、数据湖和数据仓库都有数据资源目录，通过数据资源目录了解存储的数据有什么?

        3、数据湖和数据仓库的提取都是需要通过SQL的方式进行提取，数据模型的创建，但是区别主要在数据仓库的模型创建是依据数据标准进行创建，而数据湖的模型创建可以按照业务系统进行一比一的创建

        综上所述，数据仓库和数据湖是有那种不同的使用场景的，不同企业可以根据应用场景选取合适的产品进行数据存储。

目前数据仓库的类型主要有两种，，一种是数据仓库的思想领袖Bill innon提出的关系型数据仓库，另外一种是另外一个思想领袖Ralph Kimball提出的多维数据仓库，目前关系型数据仓库不会存在因为数据量变大，查询变慢的问题，而多维数据仓库会存在由于数据量变大，而查询性能变慢的问题，而多维数据仓库解决由于数据量变大查询性能变慢的问题而产生的宽表，宽表的作用是适当使用部分数据几余，通过空间换时间的方法解决查询性能问题

衡量数据仓库建设的成功与否的指标主要有3个指标:

        1、使用率指标，有多少人在使用数据仓库

        2、主题覆盖率。即有多少业务部门在使用数据仓库

        3、响应时间和性能指标。由于数据仓库只要是BI分析应用场景，所以响应时间和性能指标是数据仓库建设的一个重要的指标。

数据湖建设成功与否的衡量指标可以包括以下几个方面

        1、数据完整性: 数据湖的数据应该完整地反映了业务过程中的各个环节，并且具备一致性和准确性。

        2、数据质量: 数据湖的数据应该具备高质量标准，确保数据可信、可靠、具有正确的含义和目的。

         3、数据共享与协作:数据湖中的数据应该容易被团队和组织共享和访问，同时支持协作和合作。

        4、数据安全与隐私: 数据湖中存储的信息应该保持机密性、完整性、可用性，并遵循数据安全和隐私方针。

        5、数据分析与应用: 数据湖中的数据应该能够为企业和团队的业务决策提供有价值的洞察同时支持业务应用和创新

        6、数据可持续性:数据湖与数据管理策略相结合，应该能够持续为组织和业务流程提供有益的价值。

         7、数据湖管理平台的便捷性: 数据湖中数据的管理流程应该简单便捷，从数据接入、数据管理到数据可视化、数据分析均应该较为便捷