当前位置: 首页 > news >正文

Starrocks异步物化视图的使用以及注意事项

最近在使用starrocks来进行实时数据项目的开发,尝试使用了一下starrocks的异步物化视图。
使用版本: 3.1.2-4f3a2ee

创建三个测试表, 注意只有test_mv_table1为分区表,其他两个都是非分区表:

CREATE TABLE `test_mv_table1` (`periodday` DATE NOT NULL COMMENT "",`fid` varchar(44) NOT NULL COMMENT "",`fnumber` int NULL COMMENT ""
) ENGINE=OLAP
PRIMARY KEY(`periodday`, `fid`)
COMMENT "数据1-分区"
PARTITION BY date_trunc('month', `periodday`)
DISTRIBUTED BY HASH(`fid`)
ORDER BY(`fid`, `fnumber`)
PROPERTIES ("replication_num" = "3","in_memory" = "false","enable_persistent_index" = "false","replicated_storage" = "true"
);CREATE TABLE `test_mv_table2` (`fid` varchar(44) NOT NULL COMMENT "",`fnumber` int NULL COMMENT ""
) ENGINE=OLAP
PRIMARY KEY(`fid`)
COMMENT "数据2-明细"
DISTRIBUTED BY HASH(`fid`)
ORDER BY(`fid`, `fnumber`)
PROPERTIES ("replication_num" = "3","in_memory" = "false","enable_persistent_index" = "false","replicated_storage" = "true"
);CREATE TABLE `test_mv_table3` (`fid` varchar(44) NOT NULL COMMENT "",`fnumber` int NULL COMMENT ""
) ENGINE=OLAP
PRIMARY KEY(`fid`)
COMMENT "数据3-明细"
DISTRIBUTED BY HASH(`fid`)
ORDER BY(`fid`, `fnumber`)
PROPERTIES ("replication_num" = "3","in_memory" = "false","enable_persistent_index" = "false","replicated_storage" = "true"
);

分别在三张表中插入初始化数据:

insert into test_mv_table1 (periodday, fid, fnumber) values
("2023-09-01", "aaa", 111),
("2023-09-02", "bbb", 222),
("2023-09-03", "ccc", 333),
("2023-10-01", "aaa", 111),
("2023-10-02", "bbb", 222),
("2023-10-03", "ccc", 333),
("2023-11-01", "aaa", 111),
("2023-11-02", "bbb", 222),
("2023-11-03", "ccc", 333);insert into test_mv_table2 (fid, fnumber) values
("aaa", 666),
("bbb", 777),
("ccc", 888);insert into test_mv_table3 (fid, fnumber) values
("aaa", 22200),
("bbb", 33300),
("ccc", 44400);

创建物化视图,物化视图的分区只能对应一个基表:

CREATE MATERIALIZED VIEW view_mv_test
COMMENT 'test-物化视图'
PARTITION BY `periodday`
DISTRIBUTED BY HASH(`fnumber`)
REFRESH ASYNC
PROPERTIES ("replication_num" = "3","excluded_trigger_tables"="test_mv_table2,test_mv_table3","session.exec_mem_limit"="9147483648","session.query_timeout"="259000","session.new_planner_optimize_timeout"="5000","session.parallel_fragment_exec_instance_num"="10"
)
AS
selecta.periodday as periodday,b.fnumber as fnumber,a.fid as fid,now() as insert_time
from test_mv_table1 a
left join test_mv_table2 b
on a.fid = t.fid
inner join test_mv_table3 c
on a.fid = c.fid
and b.fid = c.fid
;

注意这里创建的是自动刷新,也可以创建为定时刷新:

CREATE MATERIALIZED VIEW view_mv_test
COMMENT 'test-物化视图'
PARTITION BY `periodday`
DISTRIBUTED BY HASH(`fnumber`)
REFRESH ASYNC START('2023-11-20 10:00:00') EVERY (interval 1 minute) 
PROPERTIES ("replication_num" = "3","excluded_trigger_tables"="test_mv_table2,test_mv_table3","session.exec_mem_limit"="9147483648","session.query_timeout"="259000","session.new_planner_optimize_timeout"="5000","session.parallel_fragment_exec_instance_num"="10"
)
AS
selecta.periodday as periodday,b.fnumber as fnumber,a.fid as fid,now() as insert_time
from test_mv_table1 a
left join test_mv_table2 b
on a.fid = t.fid
inner join test_mv_table3 c
on a.fid = c.fid
and b.fid = c.fid
;

创建完成后,数据会进行初始化计算

小结:

  • 基表有刷新了,物化视图进行刷新(前提是 test_mv_table2 和 test_mv_table3都没有变更的情况下,物化视图刷新对应的分区)
  • 如果 test_mv_table2 和 test_mv_table3 存在变更,test_mv_table1基表未发生变更,此时不会触发刷新
  • 但是等到 test_mv_table1基表 发生变更的时候,会触发物化视图的全量刷新
  • 如果我只想让物化视图跟随基表的分区变化而刷新对应的分区,不管 test_mv_table2 和 test_mv_table3 的变更,这样该怎么实现呢?目前好像不支持

参考文档: https://docs.starrocks.io/zh-cn/latest/using_starrocks/data_modeling_with_materialized_views
通过物化视图将事实表和多个维度表进行关联:

  • 您需要在物化视图的分区键中指定特定基表(通常是事实表)的分区键来实现物化视图的分区关联(PARTITION BY fact_tbl.col)。一个物化视图仅能与一个基表做分区关联。
  • 当被关联基表的某个分区中的数据发生变化时,物化视图中相应的分区将被刷新,但不影响其他分区。
  • 当其他未被关联的基表发生变化时,默认情况下会刷新整个物化视图。
    然而,您可以选择忽略某些未关联表中的数据变化,以便在这些表中的数据发生变化时不刷新物化视图。

这种分区关联可以支持多种业务场景:

  • 事实表更新:您可以将事实表分区到细粒度级别,例如按日或按小时。
    在事实表更新后,物化视图中相应的分区将自动刷新。

注意这里,维度表的更新,是会触发整个物化视图的更新的

  • 维度表更新:通常,维度表中的数据更新将导致所有关联结果的刷新,刷新代价较大。
    您可以选择忽略某些维度表中的数据更新,以避免刷新整个物化视图,
    或者您可以指定一个时间范围,从而只有在该时间范围内的分区才能被刷新。
  • 外部表的自动刷新:在类似于 Apache Hive 或 Apache Iceberg 这样的外部数据源中,
    数据往往以分区的粒度进行变更。
    StarRocks 的物化视图可以订阅外表分区级别的数据更新,只刷新物化视图的相应分区。
  • TTL:在为物化视图设置分区策略时,您可以设置要保留的最近分区的数量,从而仅保留最新的数据。
    其对应的业务场景对数据时效性有较高要求,例如,分析师仅需要查询某个时间窗口内的最新数据,而无需保留所有历史数据。

相关文章:

Starrocks异步物化视图的使用以及注意事项

最近在使用starrocks来进行实时数据项目的开发,尝试使用了一下starrocks的异步物化视图。 使用版本: 3.1.2-4f3a2ee 创建三个测试表, 注意只有test_mv_table1为分区表,其他两个都是非分区表: CREATE TABLE test_mv_table1 (periodday DATE NOT NULL CO…...

SpringBoot整合Sharding-Jdbc实现分库分表和分布式全局id

SpringBoot整合Sharding-Jdbc Sharding-Jdbc sharding-jdbc是客户端代理的数据库中间件;它和MyCat最大的不同是sharding-jdbc支持库内分表。 整合 数据库环境 在两台不同的主机上分别都创建了sharding_order数据库,库中都有t_order_1和t_order_2两张…...

「江鸟中原」有关HarmonyOS-ArkTS的Http通信请求

一、Http简介 HTTP(Hypertext Transfer Protocol)是一种用于在Web应用程序之间进行通信的协议,通过运输层的TCP协议建立连接、传输数据。Http通信数据以报文的形式进行传输。Http的一次事务包括一个请求和一个响应。 Http通信是基于客户端-服…...

vuex的使用笔记

1.安装 npm安装 npm install vuexnext --saveyarn安装 yarn add vuexnext --save2.基本结构 import Vuex from vuexconst store createStore({ //状态:相当于vue中的data() state() {return {name: 0,code:"",todos: [{ id: 1…...

汇编:关于栈的知识

1.入栈和出栈指令 2. SS与SP 3. 入栈与出栈 3.1 执行push ax ↑↑ 3.2 执行pop ax ↓↓ 3.3 栈顶超界的问题 4. 寄存器赋值 基于8086CPU编程时,可以将一段内存当作栈来使用。一个栈段最大可以设为64KB(0-FFFFH)。 1.入栈和出栈指令…...

uniapp使用map标签

在UniApp中,可以使用map标签来显示地图,并通过其属性来自定义地图的样式和行为。以下是一些常用的map标签属性: id:用于给地图组件指定一个唯一的标识符,方便在代码中进行引用和操作。 style:用来设置地图…...

MacOS14 Sonoma 安装 Flutter 开发环境

本文针对 小白用户也包括自己,以前都是将这些写入我的有道云笔记。为了让给多人看见或者说自己更好的浏览,先将其记录如下。 朋友介绍一个项目说要开发一款App,最近也是闲着就答应下来。主要功能是通过蓝牙BLE控制设备的一个 Iot边缘设备&…...

【Web】PHP反序列化刷题记录

目录 ①[NISACTF 2022]babyserialize ②[NISACTF 2022]popchains ③[SWPUCTF 2022 新生赛]ez_ez_unserialize ④[GDOUCTF 2023]反方向的钟 再巩固下基础 ①[NISACTF 2022]babyserialize <?php include "waf.php"; class NISA{public $fun"show_me_fla…...

C++标准模板库 STL 简介(standard template library)

在 C 语言中&#xff0c;很多东西都是由我们自己去实现的&#xff0c;例如自定义数组&#xff0c;线程文件操作&#xff0c;排序算法等等&#xff0c;有些复杂的东西实现不好很容易留下不易发现的 bug。而 C为使用者提供了一套标准模板库 STL,其中封装了很多实用的容器&#xf…...

Linux篇:文件系统

一、共识原理&#xff1a; 文件文件内容文件属性 磁盘上存储文件存文件的内容&#xff08;数据块&#xff09;存文件的属性&#xff08;inode&#xff09; Linux的文件在磁盘中存储是将属性和内容分开存储的。 二、硬件简述&#xff1a; 1. 认识硬件 磁盘&#xff1a;唯一的一…...

AI - Crowd Simulation(集群模拟)

类似鱼群&#xff0c;鸟群这种群体运动模拟。 是Microscopic Models 微观模型&#xff0c;定义每一个个体的行为&#xff0c;然后合在一起。 主要是根据一定范围内族群其他对象的运动状态决定自己的运动状态 Cohesion 保证个体不会脱离群体 求物体一定半径范围内的其他临近物…...

<JavaEE> Java中线程有多少种状态(State)?状态之间的关系有什么关系?

目录 一、系统内核中的线程状态 二、Java中的线程状态 一、系统内核中的线程状态 状态说明就绪状态线程已经准备就绪&#xff0c;随时可以接受CPU的调度。阻塞状态线程处于阻塞等待&#xff0c;暂时无法在CPU中执行。 二、Java中的线程状态 相比于系统内核&#xff0c;Java…...

正则表达式 通配符 awk文本处理工具

目录 什么是正则表达式 概念 正则表达式的结构 正则表达式的组成 元字符 元字符点&#xff08;.&#xff09; 代表字符. 点值表示点需要转义 \ r..t 代表r到t之间任意两个字符 过滤出小写 过滤出非小写 space空格 [[:space:]] 表示次数 位置锚定 例&#xff1a…...

三、ts高级笔记,

文章目录 18、d.ts声明文件19、Mixin混入20、Decorator装饰器的使用21、-高级proxy拦截_Reflect元储存22、-高级写法Partial-Pick23、Readonly只读_Record套对象24、高阶写法Infer占位符25、Inter实现提取类型和倒叙递归26、object、Object、{}的区别27、localStorage封装28、协…...

二十一、数组(6)

本章概要 数组排序Arrays.sort的使用并行排序binarySearch二分查找parallelPrefix并行前缀 数组排序 根据对象的实际类型执行比较排序。一种方法是为不同的类型编写对应的排序方法&#xff0c;但是这样的代码不能复用。 编程设计的一个主要目标是“将易变的元素与稳定的元素…...

flask依据现有的库表快速生成flask实体类

flask依据现有的库表快速生成flask实体类 在实际开发过程中&#xff0c;flask的sqlalchemy对应的model类写起来重复性较强&#xff0c;如果表比较多会比较繁琐&#xff0c;这个时候可以使用 flask-sqlacodegen 来快速的生成model程序或者py文件&#xff0c;以下是简单的示例&a…...

.NET6 开发一个检查某些状态持续多长时间的类

📢欢迎点赞 :👍 收藏 ⭐留言 📝 如有错误敬请指正,赐人玫瑰,手留余香!📢本文作者:由webmote 原创📢作者格言:新的征程,我们面对的不仅仅是技术还有人心,人心不可测,海水不可量,唯有技术,才是深沉黑夜中的一座闪烁的灯塔 !序言 在代码的世界里,时常碰撞…...

链表K个节点的组内逆序调整问题

链表K个节点的组内逆序调整问题 作者&#xff1a;Grey 原文地址&#xff1a; 博客园&#xff1a;链表K个节点的组内逆序调整问题 CSDN&#xff1a;链表K个节点的组内逆序调整问题 题目描述 LeetCode 25. Reverse Nodes in k-Group 本题的 follow up 是&#xff1a; Fol…...

安卓隐私指示器学习笔记

最近了解到Google 在Android12上新增了权限指示器&#xff0c;可以在信号栏的右侧显示当前访问录音机和Camera的应用&#xff0c;点击后可以跳转到相应应用的权限界面&#xff0c;消费者可以控制权限的开启和关闭。国内手机厂商最近几年都在增加隐私看板供能&#xff0c;消费者…...

【Jenkins】jenkins发送邮件报错:Not sent to the following valid addresses:

jenkins报错未能发送邮件到指定邮箱 注意&#xff1a;这是在系统配置中修改 在系统配置》邮件通知中添加配置信息 注意&#xff1a;这个是在项目的配置下修改 配置完成后&#xff0c;重新执行发送邮件成功&#xff01;&#xff01;&#xff01;...

DAMOYOLO-S在智慧农业中的应用:无人机农田监测分析

DAMOYOLO-S在智慧农业中的应用&#xff1a;无人机农田监测分析 1. 引言 想象一下&#xff0c;你站在一片广阔的农田边&#xff0c;想要知道这片地里有多少棵玉米苗&#xff0c;有没有生病&#xff0c;长势怎么样。靠人眼去数、去看&#xff0c;不仅费时费力&#xff0c;还容易…...

告别死记硬背:用GitHub笔记和实战思维重新理解电路与电子学

告别死记硬背&#xff1a;用GitHub笔记和实战思维重新理解电路与电子学 电路与电子学这门课&#xff0c;常常让计算机专业的学生又爱又恨。爱的是它揭示了计算机硬件底层的奥秘&#xff0c;恨的是那些繁琐的公式和抽象的概念。但问题真的出在课程本身吗&#xff1f;或许我们需…...

TranslucentTB:重塑Windows任务栏视觉体验的轻量化方案

TranslucentTB&#xff1a;重塑Windows任务栏视觉体验的轻量化方案 【免费下载链接】TranslucentTB A lightweight utility that makes the Windows taskbar translucent/transparent. 项目地址: https://gitcode.com/gh_mirrors/tr/TranslucentTB 你是否曾遇到这样的困…...

Path of Building PoE2:流放之路2终极角色规划器完整指南

Path of Building PoE2&#xff1a;流放之路2终极角色规划器完整指南 【免费下载链接】PathOfBuilding-PoE2 项目地址: https://gitcode.com/GitHub_Trending/pa/PathOfBuilding-PoE2 还在为《流放之路2》复杂的角色构建而头疼吗&#xff1f;每次天赋加点都犹豫不决&am…...

从“能用”到“精准”:Halcon相机内参标定后的参数验证与实战应用指南

从“能用”到“精准”&#xff1a;Halcon相机内参标定后的参数验证与实战应用指南 当你完成Halcon相机内参标定&#xff0c;生成了那个看似完美的参数文件时&#xff0c;真正的挑战才刚刚开始。很多开发者会陷入"标定完成即大功告成"的误区&#xff0c;却不知未经验证…...

飞腾CPU+银河麒麟V10系统安装Zotero 6.0.37保姆级教程(含Arch Linux ARM源转换避坑指南)

飞腾CPU银河麒麟V10系统安装Zotero 6.0.37全流程解析与深度优化指南 在国产化技术生态快速发展的背景下&#xff0c;飞腾CPU与银河麒麟操作系统的组合已成为科研机构和关键领域的重要选择。然而&#xff0c;当科研人员需要在这套平台上使用国际主流学术工具时&#xff0c;往往会…...

DASD-4B-Thinking法律咨询效果展示:条款分析与案例参考

DASD-4B-Thinking法律咨询效果展示&#xff1a;条款分析与案例参考 1. 引言 在日常法律咨询中&#xff0c;很多人遇到合同条款看不懂、法律概念不理解的情况&#xff0c;但又不想每次都花钱请律师。DASD-4B-Thinking模型在这方面展现出了令人惊喜的能力&#xff0c;它不仅能清…...

Graphormer从部署到应用:中小企业如何用低成本GPU开展分子AI研发

Graphormer从部署到应用&#xff1a;中小企业如何用低成本GPU开展分子AI研发 1. 为什么中小企业需要关注Graphormer 在药物发现和材料科学领域&#xff0c;分子属性预测一直是个耗时费力的工作。传统方法需要大量实验和计算资源&#xff0c;对中小企业来说成本高昂。Graphorm…...

OpenCore Legacy Patcher:让旧Mac重获新生的完整方案

OpenCore Legacy Patcher&#xff1a;让旧Mac重获新生的完整方案 【免费下载链接】OpenCore-Legacy-Patcher Experience macOS just like before 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher 当您的Mac被官方系统更新拒之门外时&#xf…...

TCC-G15散热控制实战指南:释放Dell游戏本性能潜力

TCC-G15散热控制实战指南&#xff1a;释放Dell游戏本性能潜力 【免费下载链接】tcc-g15 Thermal Control Center for Dell G15 - open source alternative to AWCC 项目地址: https://gitcode.com/gh_mirrors/tc/tcc-g15 一、问题发现&#xff1a;游戏本散热困境的技术根…...