GaussDB DWS 详解

批注：本文引鉴了@Forlogen博主的一些内容，并加以补充，以供学习了解。

GaussDB DWS 详解

一、简介

DWS(Data Warehouse Service)是一种基于公有云基础架构和平台的在线数据处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。

GaussDB(DWS)是系统的数据库部分，通过JDBC/ODBC接口与应用层交互，提供数据服务，通过Plugin API和Manager模块进行交互，Manager模块负责系统管理和安全管理，管理层通过REST，snmp，Syslog与应用层进行通信。

二、DWS的分布式架构

架构概述

• Shared-Nothing架构是一种分布式系统架构。其核心观点是每个节点(机器)都有自己独立的硬件资源，节点之间没有共享硬件组件。每台机器运行一个独立的GaussDB实例，通过大规模集群通讯网络互联，组成一个整体的数据集群。对用户而言，整个集群表现为一个统一的数据库系统。

关键组件

• OM（运维管理）：

  • 功能：提供日常运维和配置管理，包括扩容和升级。

• CM（集群管理）：

  • 功能：负责集群管理和监控各单元物理资源使用情况，以及负责单节点的故障管理。

• GTM（全局事务管理）：

  • 功能：管理全局事务和多版本并发控制（MVCC）

• WLM（工作负载管理）：

  • 功能：资源隔离和多租户的划分

• Coordinator（协调器）：

  • 功能：承接上层应用链接，处理请求分发、调度、结果返回、SQL解析和优化。
  • 位置：协调器节点是分布式的，可以有多个实例（Coordinator-1，Coordinator-2，…，Coordinator-n），每个实例负责一部分请求。

• Data Node（数据节点）：

  • 功能：负责数据存储和执行，包括数据分布和多种形式的存储。
  • 位置：每个数据节点连接到本地磁盘（Local-Disk），实现数据存储的无共享架构。图中展示了多个数据节点（Data Node-1，Data Node-2，…，Data Node-n）。

• GDS Loader：

  • 功能：做数据入库

三、分布式查询

数据查询流程

具体查询流程如下：

1. 用户通过应用程序发出查询本地数据的SQL请求到Coordinator
2. Coordinator接收用户的SQL请求，分配服务进程，向GTM请求分配全局事务信息
3. GTM接收到Coordinator的请求，返回全局事务信息给Coordinator
4. Coordinator根据数据分布信息以及系统元信息，解析SQL为查询计划树，从查询计划树中提取可以发送到Datanode的执行步骤，封装成SQL语句或者子执行计划树，发送到Datanode执行
5. Datanode接收到读取任务后，查询具体Storage上的本地数据块
6. Datanode任务执行后，将执行结果返回给Coordinator
7. Coordinator将查询结果通过应用程序返回给用户

SQL执行的示例

对于第三个示例，也可以考虑直接将C1和C2的数据直接拿到Coordinator中进行表合并和相关操作，届时Coordinator则可能会成为性能瓶颈。