当前位置: 首页 > article >正文

揭秘OLAP数据库预计算技术

揭秘OLAP数据库预计算技术OLAP数据库通常通过预计算技术将复杂查询的响应时间从分钟级压缩至毫秒级其核心逻辑在于‌以空间换时间‌提前计算并存储聚合结果如SUM、AVG避免实时扫描原始数据并进行计算。增量物化视图是预计算技术的一种本文介绍预计算的另外一种技术Cloudberry的动态表支持自动刷新和多数据源整合适用于需要定期更新的聚合查询如销售报表、用户行为分析等更适合频繁更新的场景。基本原理是利用cron设置刷新任务并按照刷新任务对动态表进行刷新。他是全量刷新的。1、语法及用法动态表使用CREATE DYNAMIC TABLE语句创建支持定时调度和分布策略CREATE DYNAMIC TABLE dt0 SCHEDULE 5 * * * * AS SELECT a, b, sum(c) FROM t1 GROUP BY a, b DISTRIBUTED BY(b);动态表支持基于cron表达式的自动刷新系统会自动创建后台任务-- 查看自动刷新任务SELECT schedule, command FROM pg_task WHERE jobname LIKE gp_dynamic_table_refresh%;手动刷新REFRESH DYNAMIC TABLE dt0 WITH NO DATA;--建表时不立即填充数据仅创建空动态表结构REFRESH DYNAMIC TABLE dt2;动态表可以用于查询重写当启用 enable_answer_query_using_materialized_views 时系统会自动使用动态表加速查询。支持从多种数据源创建动态表普通表、物化视图、外部表、其他动态表。2、实现原理2.1 创建表流程动态表的创建流程从CREATE DYNAMIC TABLE SQL 语句开始经过解析、执行和初始化三个主要阶段语法解析中针对动态表的创建语句在CreateTableAsStmt的into即IntoClause结构中会将dynamicTbl设置为true以供后续创建表时识别是否是动态表在ExecCreateTableAs函数中识别到创建的是动态表会调用SetDynamicTablestate在pg_class系统表对应的relisdynamic字段将其更新为true作为表的元数据标记其为动态表。调用create_dynamic_table_auto_refresh_task创建一个自动刷新任务create_dynamic_table_auto_refresh_task实现逻辑1如果创建表时没有指定刷新策略则使用默认的刷新策略DYNAMIC_TABLE_DEFAULT_REFRESH_INTERVAL*/5 * * * *表示每5分钟执行一次任务。采用的是标准的cron语法分钟字段: */5 - 每5分钟0, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55小时字段: * - 每小时日期字段: * - 每天都执行月份字段: * - 每月都执行星期字段: * - 每周都执行2创建一个CreateTaskStmt用于传入DefineTask函数定义周期任务。包括任务名为gp_dynamic_table_refresh_动态表oid刷新策略schedule周期执行的SQLREFRESH DYNAMIC TABLE 表名3DefineTask主要调用ScheduleCronJob-TaskCreate创建一个cron任务注意这里创建任务后它的active为true就是激活状态在TaskCreate函数中创建一个cron任务并将其记录到pg_task系统表中然后通过PgCronLauncherPID()找到pg_cron进程的PID并通过kill命令向其发送SIGHUP信号。pg_task系统表结构为2.2 任务调度主进程执行任务的后台进程是PgCronLauncherMain该进程仅在master上用于执行任务。接收到TaskCreate信号后通过pg_cron_sighup函数将CronJobCacheValid 设置为false从而使得主函数中可以调用RefreshTaskHash重新加载任务配置。该函数主要完成的工作1调用taskList CurrentTaskList();获取当前任务链表2调用currentTime GetCurrentTimestamp();获取当前时间戳3调用函数StartAllPendingRuns(taskList, currentTime);根据时间规则和时钟变化决定哪些任务应该运行会处理reboot任务、时间间隔任务和时间点任务需要调度的任务将其pendingRunCount加14WaitForCronTasks(taskList);是负责等待任务状态变化的阻塞函数。因为下面的状态切换操作都是通过事件异步执行的所以要处理事件监控异步操作是否完成5ManageCronTasks(taskList, currentTime)进行状态切换到达CRON_TASK_SENDING状态后就通过libpq连接或者后台进程发送刷新任务的命令。其实就通过cron机制自动执行刷新任务。3、思考的问题3.1 StartAllPendingRuns中处理哪几种任务该函数处理3种任务reboot任务、时间间隔任务、常规cron任务。其中reboot任务。1其中reboot任务在系统重启时运行的任务通过WHEN_REBOOT标记识别比如可以通过下面命令设置系统重启时执行数据清理任务SELECT cron.schedule(reboot, TRUNCATE TABLE temp_logs);代码中将对应任务的pendingRunCount加12间隔任务每隔多少时间执行的任务当前时间距离上次任务执行时间超过任务间隔时间就将pendingRunCount加13基于时间点的任务比如每天凌晨2:00执行备份SELECT cron.schedule(0 2 * * *, SELECT perform_backup());3.2 StartAllPendingRuns中为什么对基于时间点任务调整时钟对间隔任务不进行处理主要是针对不同任务有不同侧重点间隔任务保证每N秒执行一次的频率稳定性宁可暂停也不重复时间点任务保证在特定时间点执行的时间准确性通过调整策略处理时钟变化。这种差异化设计满足了不同业务场景的需求监控类任务需要稳定频率备份类任务需要准确时间点。对于时钟变化的解释正常时间线下假设每隔1分钟有一个任务需要执行夏令时结束时由2:00跳回到1:00会有负值的场景出现时钟跳回的瞬间错误计算间隔时间(1:59,1:00)-59分钟导致时差周期计算错误本次任务暂停一次再过一分钟时即1:01可以正常执行间隔任务。虽然暂停一次但是该任务不会被重复执行。每天凌晨2:00执行备份任务当到凌晨2:00的时候执行1次备份任务此时由2:00跳回到1:00如果不进行时钟调整则再次由1:00走到2:00的时候还需要执行第2次备份任务。导致该任务重复执行。所以对于时间点任务来说需要调整时钟。从另一方面讲基于时间点的任务应用场景比如备份这个动作比较重仅允许执行一次否则会造成环境负载问题。而基于时间间隔任务可以执行比较轻的任务这样可以适配不同应用场景。3.3 为什么ManageCronTask函数中每次切换状态后就返回这种设计是异步状态机的经典实现模式每次状态切换后返回主循环是为了实现非阻塞的 I/O 操作和公平的任务调度。比如发送刷新命令前需要构建异步连接发送连接命令后该连接不一定马上成功如果同步等待就阻塞了其他任务的执行。所以这里切换任务后就立即返回下次循环进来的时候连接可能就构建好了正好可以进入下一步动作。这也是为什么先执行WaitForCronTasks的原因在该函数中会通过poll等待对应事件从而设置isSocketReady来表示等待特定的 I/O 操作是否完成3.4 状态机是怎么切换状态的每种状态下做什么动作创建任务后初始状态是CRON_TASK_WAITING该状态下会检查对应任务是否活跃如果不活跃就将他删除如果可以启动则将它的pendingRunCount减1进入启动状态。根据task_use_background_worker是否为true分别进入CRON_TASK_START和CRON_TASK_BGW_START状态。即两种执行刷新任务的方式1libpq连接2后台进程。在CRON_TASK_START状态下。CRON_TASK_START是libpq方式发送命令此时会根据cron的信息host和端口等信息通过PQconnectStartParams向master节点发起异步连接如果尝试连接失败则切换到状态CRON_TASK_ERROR。否则切换到CRON_TASK_CONNECTING状态。CRON_TASK_CONNECTING状态会通过PQconnectPoll检测异步连接是否构建成功若成功则切换到CRON_TASK_SENDING状态否则切换到CRON_TASK_ERROR状态。CRON_TASK_SENDING状态下通过PQsendQuery函数向master发送异步刷新的命令REFRESH DYNAMIC TABLE tbname。然后状态切换到CRON_TASK_RUNNING。CRON_TASK_RUNNING状态下检测返回结果如果有返回结果则该任务执行完成将状态切换到CRON_TASK_DONE。CRON_TASK_DONE状态下重新将状态切换到初始状态CRON_TASK_WAITING。CRON_TASK_BGW_START状态下创建一个动态共享空间然后开启一个后台进程切换到CRON_TASK_BGW_RUNNING状态。该后台进程为CronBackgroundWorker通过动态共享空间找到执行任务对应的SQL该进程执行完后就退出StartTransactionCommand()--ExecuteSqlString(command);--CommitTransactionCommand();CRON_TASK_BGW_RUNNING状态会检测CronBackgroundWorker进程是否还在若在表示任务还在执行。任务执行完后切换到CRON_TASK_DONE状态。

相关文章:

揭秘OLAP数据库预计算技术

揭秘OLAP数据库预计算技术OLAP数据库通常通过预计算技术将复杂查询的响应时间从分钟级压缩至毫秒级,其核心逻辑在于‌以空间换时间‌:提前计算并存储聚合结果(如SUM、AVG),避免实时扫描原始数据并进行计算。增量物化视…...

基于Axon.MCP.Server构建AI Agent工具:.NET 8实现MCP协议实战

1. 项目概述与核心价值最近在折腾AI Agent开发,特别是想给Claude Desktop或者Cursor这类工具加上自定义的“工具箱”,让它们能直接操作我的本地数据库、调用内部API,或者读取特定格式的日志文件。市面上通用的MCP(Model Context P…...

别再为MIR7和MIRO搞混了!详解SAP发票校验的差异与实战增强配置

SAP发票校验实战指南:MIRO与MIR7的核心差异与增强配置解析 每次月末对账时,财务部门的张经理总会遇到一个奇怪现象——明明上个月已经处理过的采购订单,在MIR7事务码中又出现了待开票数据。而使用MIRO录入日常发票时,系统却能准确…...

WarcraftHelper完全指南:5分钟让经典魔兽在现代电脑上重获新生

WarcraftHelper完全指南:5分钟让经典魔兽在现代电脑上重获新生 【免费下载链接】WarcraftHelper Warcraft III Helper , support 1.20e, 1.24e, 1.26a, 1.27a, 1.27b 项目地址: https://gitcode.com/gh_mirrors/wa/WarcraftHelper 还在为《魔兽争霸3》在Wind…...

抖音无水印视频下载终极指南:3分钟实现高清视频保存

抖音无水印视频下载终极指南:3分钟实现高清视频保存 【免费下载链接】douyin_downloader 抖音短视频无水印下载 win编译版本下载:https://www.lanzous.com/i9za5od 项目地址: https://gitcode.com/gh_mirrors/dou/douyin_downloader 你是否曾经想…...

小红书无水印下载神器:从入门到精通的完整指南

小红书无水印下载神器:从入门到精通的完整指南 【免费下载链接】XHS-Downloader 小红书(XiaoHongShu、RedNote)链接提取/作品采集工具:提取账号发布、收藏、点赞、专辑作品链接;提取搜索结果作品、用户链接&#xff1b…...

多模态大模型优化与量化部署实战

1. 项目背景与核心价值 在当下AI技术快速迭代的浪潮中,大型语言模型(LLM)正从单一文本处理向多模态融合方向演进。OmniVinci项目正是针对这一趋势提出的创新解决方案,它通过架构优化与量化部署技术,显著提升了多模态大…...

告别TabControl!用Prism区域管理重构你的WPF导航,模块化开发真香了

重构WPF导航架构:Prism区域管理的模块化实践指南 当你的WPF应用从简单的工具演变为复杂系统时,传统的导航实现方式往往会成为技术债务的重灾区。那些曾经看似高效的TabControl和ContentControl绑定,如今却让代码库变得臃肿不堪。每次新增功能…...

终极指南:如何用VideoDownloadHelper快速下载网页视频的完整教程

终极指南:如何用VideoDownloadHelper快速下载网页视频的完整教程 【免费下载链接】VideoDownloadHelper Chrome Extension to Help Download Video for Some Video Sites. 项目地址: https://gitcode.com/gh_mirrors/vi/VideoDownloadHelper 还在为无法保存网…...

CASEMOVE:终极CS2物品管理桌面应用完整指南

CASEMOVE:终极CS2物品管理桌面应用完整指南 【免费下载链接】casemove A dedicated desktop app that enables you to move items in and out of storage units in CS2. 项目地址: https://gitcode.com/gh_mirrors/ca/casemove 作为一名CS2玩家,你…...

多模态大语言模型架构设计与工程实践

1. 项目背景与核心价值 去年在做一个跨模态检索项目时,我深刻体会到传统单模态模型的局限性——当用户同时输入图片和文字描述时,系统往往只能处理其中一种信息。这促使我开始探索多模态大语言模型(LLM)的架构设计,最终…...

别再折腾环境了!用Anaconda新建Python环境,5分钟搞定JSBSim与AirSim联调

别再折腾环境了!用Anaconda新建Python环境,5分钟搞定JSBSim与AirSim联调 无人机仿真开发中最令人头疼的莫过于环境配置问题。当你兴致勃勃地准备尝试JSBSim与AirSim的联调时,却可能被各种依赖冲突、库版本不兼容等问题绊住脚步。特别是当遇到…...

告别触摸屏!用3个GPIO按键玩转LVGL界面:ESP32平台IO环境下的精简配置法

告别触摸屏!用3个GPIO按键玩转LVGL界面:ESP32平台IO环境下的精简配置法 在嵌入式UI开发中,触摸屏虽然交互直观,但成本和功耗往往成为制约因素。想象一下,你正在设计一款智能家居控制面板或工业HMI设备,预算…...

Switch系统加速终极指南:5大技巧让游戏加载快如闪电

Switch系统加速终极指南:5大技巧让游戏加载快如闪电 【免费下载链接】Atmosphere-stable 大气层整合包系统稳定版 项目地址: https://gitcode.com/gh_mirrors/at/Atmosphere-stable 想要让你的Switch游戏加载速度提升50%吗?厌倦了漫长的等待和卡顿…...

Sunshine游戏串流主机:打造你的个人云游戏服务器

Sunshine游戏串流主机:打造你的个人云游戏服务器 【免费下载链接】Sunshine Self-hosted game stream host for Moonlight. 项目地址: https://gitcode.com/GitHub_Trending/su/Sunshine 在当今数字娱乐时代,你是否曾梦想过将书房里的高性能游戏电…...

告别Oracle,拥抱PostgreSQL:用Navicat迁移数据时,我踩过的那些坑和最佳实践

从Oracle到PostgreSQL:Navicat迁移实战中的深度避坑指南 当企业技术栈向开源生态转型时,数据库迁移往往是最具挑战性的环节之一。作为长期从事数据架构优化的技术顾问,我见证了数十次从Oracle到PostgreSQL的迁移过程,其中90%的意外…...

深度解析ComfyUI-Impact-Pack中Mask到SEGS转换的架构设计与性能优化

深度解析ComfyUI-Impact-Pack中Mask到SEGS转换的架构设计与性能优化 【免费下载链接】ComfyUI-Impact-Pack Custom nodes pack for ComfyUI This custom node helps to conveniently enhance images through Detector, Detailer, Upscaler, Pipe, and more. 项目地址: https:…...

Diablo Edit2:暗黑破坏神2存档编辑的终极解决方案

Diablo Edit2:暗黑破坏神2存档编辑的终极解决方案 【免费下载链接】diablo_edit Diablo II Character editor. 项目地址: https://gitcode.com/gh_mirrors/di/diablo_edit Diablo Edit2是一款功能强大的暗黑破坏神2存档编辑器,支持从经典1.09版本…...

终极免费macOS炉石传说助手:HSTracker完整使用指南

终极免费macOS炉石传说助手:HSTracker完整使用指南 【免费下载链接】HSTracker A deck tracker and deck manager for Hearthstone on macOS 项目地址: https://gitcode.com/gh_mirrors/hs/HSTracker 还在为记不住对手的牌库而烦恼吗?HSTracker这…...

PivotRL:高效强化学习训练框架解析

1. 项目背景与核心价值在强化学习领域,训练高性能智能体通常需要消耗大量计算资源。传统方法往往需要数百万甚至上亿次的模拟交互才能获得理想策略,这种资源消耗成为许多实际应用落地的瓶颈。PivotRL的出现,正是为了解决这个关键痛点。我曾在…...

如何在Mac上解锁QQ音乐加密格式:QMCDecode完整使用指南

如何在Mac上解锁QQ音乐加密格式:QMCDecode完整使用指南 【免费下载链接】QMCDecode QQ音乐QMC格式转换为普通格式(qmcflac转flac,qmc0,qmc3转mp3, mflac,mflac0等转flac),仅支持macOS,可自动识别到QQ音乐下载目录,默认…...

九大网盘直链解析神器:告别下载限速的终极解决方案

九大网盘直链解析神器:告别下载限速的终极解决方案 【免费下载链接】Online-disk-direct-link-download-assistant 一个基于 JavaScript 的网盘文件下载地址获取工具。基于【网盘直链下载助手】修改 ,支持 百度网盘 / 阿里云盘 / 中国移动云盘 / 天翼云盘…...

九大网盘直链解析神器:告别限速,开启高效下载新时代

九大网盘直链解析神器:告别限速,开启高效下载新时代 【免费下载链接】Online-disk-direct-link-download-assistant 一个基于 JavaScript 的网盘文件下载地址获取工具。基于【网盘直链下载助手】修改 ,支持 百度网盘 / 阿里云盘 / 中国移动云…...

3个步骤为Windows创建无限虚拟显示器:ParsecVDisplay完全指南

3个步骤为Windows创建无限虚拟显示器:ParsecVDisplay完全指南 【免费下载链接】parsec-vdd ✨ Perfect virtual display for game streaming 项目地址: https://gitcode.com/gh_mirrors/pa/parsec-vdd 你是否曾因物理显示器数量有限而苦恼?想要扩…...

TranslucentTB Windows 11更新后无法启动的完整修复指南:从诊断到彻底解决

TranslucentTB Windows 11更新后无法启动的完整修复指南:从诊断到彻底解决 【免费下载链接】TranslucentTB A lightweight utility that makes the Windows taskbar translucent/transparent. 项目地址: https://gitcode.com/gh_mirrors/tr/TranslucentTB Tr…...

Win11Debloat:重构Windows系统体验的模块化优化引擎

Win11Debloat:重构Windows系统体验的模块化优化引擎 【免费下载链接】Win11Debloat A simple, lightweight PowerShell script that allows you to remove pre-installed apps, disable telemetry, as well as perform various other changes to declutter and cust…...

为什么你的网络总是不稳定?3个简单方法彻底解决连接问题

为什么你的网络总是不稳定?3个简单方法彻底解决连接问题 【免费下载链接】NatTypeTester 测试当前网络的 NAT 类型(STUN) 项目地址: https://gitcode.com/gh_mirrors/na/NatTypeTester 你是否曾经在视频会议中突然掉线?在线…...

KMS_VL_ALL_AIO:Windows与Office批量激活的智能化架构解析

KMS_VL_ALL_AIO:Windows与Office批量激活的智能化架构解析 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO KMS_VL_ALL_AIO是基于微软官方KMS技术的智能激活解决方案,专为…...

别再让模型‘乱跑’了:用XGBoost的单调性约束,让业务规则稳稳落地

驯服AI的野性:用XGBoost单调性约束实现业务逻辑与模型性能的双赢 在金融风控领域,我们经常遇到这样的尴尬场景:一个年收入百万的优质客户,被风控模型莫名其妙地打上了"高风险"标签;或者医疗定价模型中&#…...

UniApp权限管理别再写if-else了!封装一个Promise版checkPermission函数(附完整安卓权限表)

UniApp权限管理的工程化实践:从Promise封装到完整解决方案 在移动应用开发中,权限管理一直是开发者必须面对的挑战。UniApp作为跨平台开发框架,虽然简化了多端适配的复杂度,但在权限处理上依然存在诸多痛点。传统if-else嵌套的回调…...