揭秘OLAP数据库预计算技术

揭秘OLAP数据库预计算技术OLAP数据库通常通过预计算技术将复杂查询的响应时间从分钟级压缩至毫秒级其核心逻辑在于‌以空间换时间‌提前计算并存储聚合结果如SUM、AVG避免实时扫描原始数据并进行计算。增量物化视图是预计算技术的一种本文介绍预计算的另外一种技术Cloudberry的动态表支持自动刷新和多数据源整合适用于需要定期更新的聚合查询如销售报表、用户行为分析等更适合频繁更新的场景。基本原理是利用cron设置刷新任务并按照刷新任务对动态表进行刷新。他是全量刷新的。1、语法及用法动态表使用CREATE DYNAMIC TABLE语句创建支持定时调度和分布策略CREATE DYNAMIC TABLE dt0 SCHEDULE 5 * * * * AS SELECT a, b, sum(c) FROM t1 GROUP BY a, b DISTRIBUTED BY(b);动态表支持基于cron表达式的自动刷新系统会自动创建后台任务-- 查看自动刷新任务SELECT schedule, command FROM pg_task WHERE jobname LIKE gp_dynamic_table_refresh%;手动刷新REFRESH DYNAMIC TABLE dt0 WITH NO DATA;--建表时不立即填充数据仅创建空动态表结构REFRESH DYNAMIC TABLE dt2;动态表可以用于查询重写当启用 enable_answer_query_using_materialized_views 时系统会自动使用动态表加速查询。支持从多种数据源创建动态表普通表、物化视图、外部表、其他动态表。2、实现原理2.1 创建表流程动态表的创建流程从CREATE DYNAMIC TABLE SQL 语句开始经过解析、执行和初始化三个主要阶段语法解析中针对动态表的创建语句在CreateTableAsStmt的into即IntoClause结构中会将dynamicTbl设置为true以供后续创建表时识别是否是动态表在ExecCreateTableAs函数中识别到创建的是动态表会调用SetDynamicTablestate在pg_class系统表对应的relisdynamic字段将其更新为true作为表的元数据标记其为动态表。调用create_dynamic_table_auto_refresh_task创建一个自动刷新任务create_dynamic_table_auto_refresh_task实现逻辑1如果创建表时没有指定刷新策略则使用默认的刷新策略DYNAMIC_TABLE_DEFAULT_REFRESH_INTERVAL*/5 * * * *表示每5分钟执行一次任务。采用的是标准的cron语法分钟字段: */5 - 每5分钟0, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55小时字段: * - 每小时日期字段: * - 每天都执行月份字段: * - 每月都执行星期字段: * - 每周都执行2创建一个CreateTaskStmt用于传入DefineTask函数定义周期任务。包括任务名为gp_dynamic_table_refresh_动态表oid刷新策略schedule周期执行的SQLREFRESH DYNAMIC TABLE 表名3DefineTask主要调用ScheduleCronJob-TaskCreate创建一个cron任务注意这里创建任务后它的active为true就是激活状态在TaskCreate函数中创建一个cron任务并将其记录到pg_task系统表中然后通过PgCronLauncherPID()找到pg_cron进程的PID并通过kill命令向其发送SIGHUP信号。pg_task系统表结构为2.2 任务调度主进程执行任务的后台进程是PgCronLauncherMain该进程仅在master上用于执行任务。接收到TaskCreate信号后通过pg_cron_sighup函数将CronJobCacheValid 设置为false从而使得主函数中可以调用RefreshTaskHash重新加载任务配置。该函数主要完成的工作1调用taskList CurrentTaskList();获取当前任务链表2调用currentTime GetCurrentTimestamp();获取当前时间戳3调用函数StartAllPendingRuns(taskList, currentTime);根据时间规则和时钟变化决定哪些任务应该运行会处理reboot任务、时间间隔任务和时间点任务需要调度的任务将其pendingRunCount加14WaitForCronTasks(taskList);是负责等待任务状态变化的阻塞函数。因为下面的状态切换操作都是通过事件异步执行的所以要处理事件监控异步操作是否完成5ManageCronTasks(taskList, currentTime)进行状态切换到达CRON_TASK_SENDING状态后就通过libpq连接或者后台进程发送刷新任务的命令。其实就通过cron机制自动执行刷新任务。3、思考的问题3.1 StartAllPendingRuns中处理哪几种任务该函数处理3种任务reboot任务、时间间隔任务、常规cron任务。其中reboot任务。1其中reboot任务在系统重启时运行的任务通过WHEN_REBOOT标记识别比如可以通过下面命令设置系统重启时执行数据清理任务SELECT cron.schedule(reboot, TRUNCATE TABLE temp_logs);代码中将对应任务的pendingRunCount加12间隔任务每隔多少时间执行的任务当前时间距离上次任务执行时间超过任务间隔时间就将pendingRunCount加13基于时间点的任务比如每天凌晨2:00执行备份SELECT cron.schedule(0 2 * * *, SELECT perform_backup());3.2 StartAllPendingRuns中为什么对基于时间点任务调整时钟对间隔任务不进行处理主要是针对不同任务有不同侧重点间隔任务保证每N秒执行一次的频率稳定性宁可暂停也不重复时间点任务保证在特定时间点执行的时间准确性通过调整策略处理时钟变化。这种差异化设计满足了不同业务场景的需求监控类任务需要稳定频率备份类任务需要准确时间点。对于时钟变化的解释正常时间线下假设每隔1分钟有一个任务需要执行夏令时结束时由2:00跳回到1:00会有负值的场景出现时钟跳回的瞬间错误计算间隔时间(1:59,1:00)-59分钟导致时差周期计算错误本次任务暂停一次再过一分钟时即1:01可以正常执行间隔任务。虽然暂停一次但是该任务不会被重复执行。每天凌晨2:00执行备份任务当到凌晨2:00的时候执行1次备份任务此时由2:00跳回到1:00如果不进行时钟调整则再次由1:00走到2:00的时候还需要执行第2次备份任务。导致该任务重复执行。所以对于时间点任务来说需要调整时钟。从另一方面讲基于时间点的任务应用场景比如备份这个动作比较重仅允许执行一次否则会造成环境负载问题。而基于时间间隔任务可以执行比较轻的任务这样可以适配不同应用场景。3.3 为什么ManageCronTask函数中每次切换状态后就返回这种设计是异步状态机的经典实现模式每次状态切换后返回主循环是为了实现非阻塞的 I/O 操作和公平的任务调度。比如发送刷新命令前需要构建异步连接发送连接命令后该连接不一定马上成功如果同步等待就阻塞了其他任务的执行。所以这里切换任务后就立即返回下次循环进来的时候连接可能就构建好了正好可以进入下一步动作。这也是为什么先执行WaitForCronTasks的原因在该函数中会通过poll等待对应事件从而设置isSocketReady来表示等待特定的 I/O 操作是否完成3.4 状态机是怎么切换状态的每种状态下做什么动作创建任务后初始状态是CRON_TASK_WAITING该状态下会检查对应任务是否活跃如果不活跃就将他删除如果可以启动则将它的pendingRunCount减1进入启动状态。根据task_use_background_worker是否为true分别进入CRON_TASK_START和CRON_TASK_BGW_START状态。即两种执行刷新任务的方式1libpq连接2后台进程。在CRON_TASK_START状态下。CRON_TASK_START是libpq方式发送命令此时会根据cron的信息host和端口等信息通过PQconnectStartParams向master节点发起异步连接如果尝试连接失败则切换到状态CRON_TASK_ERROR。否则切换到CRON_TASK_CONNECTING状态。CRON_TASK_CONNECTING状态会通过PQconnectPoll检测异步连接是否构建成功若成功则切换到CRON_TASK_SENDING状态否则切换到CRON_TASK_ERROR状态。CRON_TASK_SENDING状态下通过PQsendQuery函数向master发送异步刷新的命令REFRESH DYNAMIC TABLE tbname。然后状态切换到CRON_TASK_RUNNING。CRON_TASK_RUNNING状态下检测返回结果如果有返回结果则该任务执行完成将状态切换到CRON_TASK_DONE。CRON_TASK_DONE状态下重新将状态切换到初始状态CRON_TASK_WAITING。CRON_TASK_BGW_START状态下创建一个动态共享空间然后开启一个后台进程切换到CRON_TASK_BGW_RUNNING状态。该后台进程为CronBackgroundWorker通过动态共享空间找到执行任务对应的SQL该进程执行完后就退出StartTransactionCommand()--ExecuteSqlString(command);--CommitTransactionCommand();CRON_TASK_BGW_RUNNING状态会检测CronBackgroundWorker进程是否还在若在表示任务还在执行。任务执行完后切换到CRON_TASK_DONE状态。