使用SQLark分析达梦慢SQL执行计划的一次实践
最近刚参加完达梦的 DCP 培训与考试,正好业务系统有个 sql 查询较慢,就想着练练手。
在深入了解达梦的过程中,发现达梦新出了一款叫 SQLark 百灵连接的工具。
我首先去官网大致浏览了下。虽然 SQLark 在功能深度上不如 DM Manager 和 PL/SQL,但常用的基础功能都有,还能很好的兼容 DM 和 Oracle,满足我的日常使用需求。
SQLark 工具里有个“执行计划分析模式”的功能,很适合用于分析我的慢 SQL(不用我粘贴到 Notepad++ 里分析)。
在这里我记录下学习达梦执行计划,并分析的过程。
👉 前往SQLark官网:www.sqlark.com 注册永久免费!
业务场景
软件控制硬件设备,处理一个作业任务,一个作业任务对应plc_rin表的一条记录。
plc_rin_temp表记录的是该硬件做任务期间的温度监控信息。温度是每隔3秒采集一次。
所以plc_rin与plc_rin_temp是一对多的关系。
业务场景
plc_rin.id = plc_rin_temp.rin_id
关联关系
大致说下业务的sql实现:
先对任务id进行分组,获取plc_rin_temp表每个rin_id的最新的一条数据。
然后join关联,获取到每个rin_id的最新采集的两条记录(每次采集,不同模块的采集时间是一致的)
最后任务表plc_rin左连接上面的结果集。
selectp."rin_user_name",p."start_time",p."end_time",p."rin_wheel_num",a.*from"plc_rin" pleft join (selectt1.*from"plc_rin_temp" t1inner join (selectmax("temp_minute") as "temp_minute","rin_id"from"plc_rin_temp"group by"rin_id") t2 on t1."temp_minute" = t2."temp_minute"and t1."rin_id" = t2."rin_id") a on p."id" = a."rin_id"
wherep."id" in ('44dc5165-93f8-4418-8407-245f1f94b192','5ea6b18c-f7c0-400f-a33e-1b778299d163'
);
查询结果大概就是这样的:每个rin_id对应两条最新的温度采集数据。
SQL慢问题
当plc_rin和plc_rin_temp数据量越来越多后,该sql的执行效率就越低,甚至好几秒才能加载出来。对于当前我这种对数据库优化研究不深的开发人员来说,这是一次很好的机会,从一个DBA的角度来优化sql。
执行计划分析
1. 什么是执行计划
在数据库管理中,执行计划是查询优化器根据查询语句的结构和表的统计信息生成的一种操作指南,用于指导数据库引擎执行查询操作。它描述了数据库引擎如何访问表、使用索引、连接表以及进行其他操作来获取查询结果。
简单点说,执行计划是 SQL 语句的执行方式,由查询优化器为语句设计的执行方式,交给执行器去执行。
通过执行计划,可以了解查询的执行过程,找出性能瓶颈,从而进行优化。
2. 如何查看执行计划
使用 EXPLAIN 可以打印出语句的执行计划。
或者直接点击【执行计划】按钮。
一开始不理解这些字符和数字分别代表什么,可以切换为表格形式:
3. 执行计划分析模式
进入执行计划分析模式,可以更好的查看和分析执行计划信息。
因为默认没有展示附加信息,我们可以勾选是否展示。这点挺人性化的,因为有时候分析的时候其实并不希望太多的信息,很多信息会干扰查看。
4. 如何分析执行计划
1)执行计划操作符
列出几个我们执行计划中出现的操作符,也是比较常见的操作符。
想看所有操作符,可以去官方网站:
https://eco.dameng.com/document/dm/zh-cn/pm/dm8-admin-manual-appendix4.html
2)执行计划顺序
缩进越多的越先执行,同样缩进的上面的先执行,下面的后执行,上下的优先级高于内外。
PS: 希望SQLark工具的后续版本,能提供查看执行计划的顺序
剧透:查看执行计划顺序的功能将在下个版本上线~
3)执行计划代价
每个操作符后面会有一个三元组。例如CSCN2: [1, 3960, 56]。
[1, 3960, 56]就是一个三元组,其中 3 个数字分别表示该操作符的估算代价、输出结果集和行数据处理长度。
分析结论
因为这是做的本地测试,所以数据量不多。plc_rin表有50条记录,plc_rin_temp有3960条记录。
从执行计划中的CSCN2: [1, 3960, 56]上可以看出,我的sql查询,是做了全表扫描的,而且因为join的原因,做了两次。
搜索执行计划中是否含 CSCN 操作符
由于业务关系和我的水平限制,尝试过对sql进行改写优化,但都不大理想,例如下面这种:
将过滤条件下推
selectp."rin_user_name",p."start_time",p."end_time",p."rin_wheel_num",a."temp_type",a."temp_start",a."temp_bearing",a."temp_rise",a."temp_minute",a."rin_id"
from"plc_rin" pleft join (selectt1.*from"plc_rin_temp" t1inner join (selectmax("temp_minute") as "temp_minute","rin_id"from"plc_rin_temp"where"rin_id" in ('44dc5165-93f8-4418-8407-245f1f94b192','5ea6b18c-f7c0-400f-a33e-1b778299d163','fa09591c-db5b-4497-8c78-51615b12179d','74e03635-c912-433f-a00f-b76c5c9aa4df','062302b8-13c8-4412-a43a-35d5ef740a43','5317ea2f-c6bf-482b-989e-c8a78bb6ece5')group by"rin_id") t2 on t1."temp_minute" = t2."temp_minute"and t1."rin_id" = t2."rin_id") a on p."id" = a."rin_id"
;
执行计划是这样的:
发现改写后,反而代价更高了。只能考虑其他优化方式。
因为plc_rin_temp表会频繁插入数据,所以也不建议创建索引。当前有两种方式:
-
就是利用触发器,将需要的数据提取出来,存入另一张表中。
-
就是做分表,因为业务关系,基本当天的任务当天就处理完了,处理完的数据基本就是历史数据了,不会处理了。我们可以将plc_rin_temp分为两个表,一个当前数据表,一个历史数据表。当前数据表的数据处理完后将数据转入历史数据表。
我自己比较倾向于第二种方式。如果大家有更好的方式,敬请指教,先谢为敬!
👉 前往SQLark官网:www.sqlark.com 免费下载体验!
相关文章:

使用SQLark分析达梦慢SQL执行计划的一次实践
最近刚参加完达梦的 DCP 培训与考试,正好业务系统有个 sql 查询较慢,就想着练练手。 在深入了解达梦的过程中,发现达梦新出了一款叫 SQLark 百灵连接的工具。 我首先去官网大致浏览了下。虽然 SQLark 在功能深度上不如 DM Manager 和 PL/SQ…...
【人工智能】用Python构建高效的自动化数据标注工具:从理论到实现
《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门! 数据标注是构建高质量机器学习模型的关键环节,但其耗时耗力常成为制约因素。本篇文章将介绍如何用Python构建一个自动化数据标注工具,结合机器学习和NLP技术,帮助加速数据标注过程。我们将从需求分析入…...
Java --- 注解(Annotation)
一.什么是注解? 在Java中,注解(Annotation)是一种元数据(metadata),它为程序中的类、方法、字段等提供额外的描述信息。注解本身不直接改变程序的行为,但可以被编译器、开发工具、框…...

nodejs作为provider接入nacos
需求:公司产品一直是nodejs的后台,采用的eggjs框架,也不是最新版本,现有有需求需求将这些应用集成到微服务的注册中心,领导要求用java。 思路:用spring cloud gateway将需要暴露的接口url转发,…...

SpringBoot3+Micormeter监控应用指标
监控内容简介 SpringBoot3项目监控服务 ,可以使用Micormeter度量指标库,帮助我们监控应用程序的度量指标,并将其发送到Prometheus中并用Grafana展示。监控指标有系统负载、内存使用情况、应用程序的响应时间、吞吐量、错误率等。 micromete…...

Mybatis-plus 简单使用,mybatis-plus 分页模糊查询报500 的错
一、mybtis-plus配置下载 MyBatis-Plus 是一个 Mybatis 增强版工具,在 MyBatis 上扩充了其他功能没有改变其基本功能,为了简化开发提交效率而存在。 具体的介绍请参见官方文档。 官网文档地址:mybatis-plus 添加mybatis-plus依赖 <depe…...
2022 年 12 月青少年软编等考 C 语言三级真题解析
目录 T1. 鸡兔同笼思路分析T2. 猴子吃桃思路分析T3. 括号匹配问题T4. 上台阶思路分析T5. 田忌赛马T1. 鸡兔同笼 一个笼子里面关了鸡和兔子(鸡有 2 2 2 只脚,兔子有 4 4 4 只脚,没有例外)。已经知道了笼子里面脚的总数 a a a,问笼子里面至少有多少只动物,至多有多少只…...

webpack 题目
文章目录 webpack 中 chunkHash 和 contentHash 的区别loader和plugin的区别?webpack 处理 image 是用哪个 loader,限制 image 大小的是...;webpack 如何优化打包速度 webpack 中 chunkHash 和 contentHash 的区别 主要从四方面来讲一下区别&…...

【MySQL】视图详解
视图详解 一、视图的概念二、视图的常用操作2.1创建视图2.2查询视图2.3修改视图2.4 删除视图2.5向视图中插入数据 三、视图的检查选项3.1 cascaded(级联 )3.2 local(本地) 四、视图的作用 一、视图的概念 视图(View)是一种虚拟存…...

第一节:ORIN NX介绍与基于sdkmanager的镜像烧录(包含ubuntu文件系统/CUDA/OpenCV/cudnn/TensorRT)
ORIN NX技术参数 Orin NX版本对比 如上图所示,ORIN NX官方发布的版本有两个版本一个版本是70TOPS算力,DDR为8GB的版本低配版本,一个是100TOPS算法,DDR为16GB的高配版本。 Orin NX的外设框图 两个版本除了GPU和DDR的差距外,外设基本上没有区别,丰富的外设接口,后续开发…...

2024-12-04OpenCV视频处理基础
OpenCV视频处理基础 OpenCV的视频教学:https://www.bilibili.com/video/BV14P411D7MH 1-OpenCV视频捕获 在 OpenCV 中,cv2.VideoCapture() 是一个用于捕获视频流的类。它可以用来从摄像头捕获实时视频,或者从视频文件中读取帧。以下是如何使用…...
D89【python 接口自动化学习】- pytest基础用法
day89 pytest的setup,setdown详解 学习日期:20241205 学习目标:pytest基础用法 -- pytest的setup,setdown详解 学习笔记: setup、teardown详解 模块级 setup_module/teardown_module 开始于模块始末,生…...

七、docker registry
七、docker registry 7.1 了解Docker Registry 7.1.1 介绍 registry 用于保存docker 镜像,包括镜像的层次结构和元数据。启动容器时,docker daemon会试图从本地获取相关的镜像;本地镜像不存在时,其将从registry中下载该镜像并保…...

FlightGear+MATLAB+飞行手柄实现实时飞控视景系统
文章目录 一、软件配置二、FlightGearMATLAB联合仿真第一步 复制文件第二步 新建文件夹第三步 打开demo第四步 demo说明第五步 打开Simulink第六步 连接FlightGear第七步 设置FlightGear第八步 生成FlightGear连接文件FlightGear的设置Network的设置File的设置生成.bat文件 第九…...
深入 Java 基础 XML:高级特性与最佳实践
在上一篇文章中,我们对 Java 基础 XML 有了一个初步的认识,了解了 XML 的基本结构以及在 Java 中常见的解析方式。今天,我们将进一步深入探讨 Java 与 XML 的结合,包括一些高级特性和最佳实践。 一、XML 命名空间 在复杂的 XML …...

【论文阅读】Fifty Years of the ISCA: A Data-Driven Retrospective
学习体会: ISCA会议近五十年文章分析, 了解论文热点方向, 处理器依旧是热点! AI和并行是大趋势, 做XPU相关目前来说还是热点~ 摘录自原文 摘录: 数据来源和分析方法: 作者收集了 ACM 数字图书馆中所有 ISCA 论文,并使用 DBLP、Google Schol…...
TVbox源贡献指南
欢迎各路大佬踊跃提PR,分享爬虫代码。 源码仓库地址 https://github.com/lushunming/AndroidCatVodSpider 快速开始 本工程是一个完整的AndroidStudio工程,请你用AS打开编辑。 工程调试完毕后要需要导出生成jar文件配合软件使用,执行根目…...
qt数据类型定义(包含签名)
先推荐一个处理markdown表格的网站,超级好用:markdown表格处理,我就是用这个表格处理的excel中的数据上传。 下表整理了数据类型的值范围、签名、qt如何定义等内容。 类型范围/子类型dbus签名qt支持的签名qt类型定义方式转换为variantint8(…...

docker逃逸总结
一、 检查是否在docker容器中 通过以下两个地方来判断 # 是否存在此文件 ls -al /.dockerenv# 在其中是否包含docker字符串 cat /proc/1/cgroup除了上面两种外还有其他方式判断,如检测mount、fdisk -l查看硬盘 、判断PID 1的进程名等也可用来辅助判断。 容器逃逸…...
MySql:表的操作
目录 创建表 查看创建表时的信息 查看表的结构描述 删除一张表 修改表 创建表 CREATE TABLE [IF NOT EXISTS] table_name (field1 datatype,field2 datatype,field3 datatype ) character set 字符集 collate 校验规则 engine 存储引擎; field 表示列名 datatype 表示…...

业务系统对接大模型的基础方案:架构设计与关键步骤
业务系统对接大模型:架构设计与关键步骤 在当今数字化转型的浪潮中,大语言模型(LLM)已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中,不仅可以优化用户体验,还能为业务决策提供…...
零门槛NAS搭建:WinNAS如何让普通电脑秒变私有云?
一、核心优势:专为Windows用户设计的极简NAS WinNAS由深圳耘想存储科技开发,是一款收费低廉但功能全面的Windows NAS工具,主打“无学习成本部署” 。与其他NAS软件相比,其优势在于: 无需硬件改造:将任意W…...

Xshell远程连接Kali(默认 | 私钥)Note版
前言:xshell远程连接,私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...

智慧工地云平台源码,基于微服务架构+Java+Spring Cloud +UniApp +MySql
智慧工地管理云平台系统,智慧工地全套源码,java版智慧工地源码,支持PC端、大屏端、移动端。 智慧工地聚焦建筑行业的市场需求,提供“平台网络终端”的整体解决方案,提供劳务管理、视频管理、智能监测、绿色施工、安全管…...
在HarmonyOS ArkTS ArkUI-X 5.0及以上版本中,手势开发全攻略:
在 HarmonyOS 应用开发中,手势交互是连接用户与设备的核心纽带。ArkTS 框架提供了丰富的手势处理能力,既支持点击、长按、拖拽等基础单一手势的精细控制,也能通过多种绑定策略解决父子组件的手势竞争问题。本文将结合官方开发文档,…...

基于当前项目通过npm包形式暴露公共组件
1.package.sjon文件配置 其中xh-flowable就是暴露出去的npm包名 2.创建tpyes文件夹,并新增内容 3.创建package文件夹...

均衡后的SNRSINR
本文主要摘自参考文献中的前两篇,相关文献中经常会出现MIMO检测后的SINR不过一直没有找到相关数学推到过程,其中文献[1]中给出了相关原理在此仅做记录。 1. 系统模型 复信道模型 n t n_t nt 根发送天线, n r n_r nr 根接收天线的 MIMO 系…...
MySQL账号权限管理指南:安全创建账户与精细授权技巧
在MySQL数据库管理中,合理创建用户账号并分配精确权限是保障数据安全的核心环节。直接使用root账号进行所有操作不仅危险且难以审计操作行为。今天我们来全面解析MySQL账号创建与权限分配的专业方法。 一、为何需要创建独立账号? 最小权限原则…...

PHP 8.5 即将发布:管道操作符、强力调试
前不久,PHP宣布了即将在 2025 年 11 月 20 日 正式发布的 PHP 8.5!作为 PHP 语言的又一次重要迭代,PHP 8.5 承诺带来一系列旨在提升代码可读性、健壮性以及开发者效率的改进。而更令人兴奋的是,借助强大的本地开发环境 ServBay&am…...
人工智能 - 在Dify、Coze、n8n、FastGPT和RAGFlow之间做出技术选型
在Dify、Coze、n8n、FastGPT和RAGFlow之间做出技术选型。这些平台各有侧重,适用场景差异显著。下面我将从核心功能定位、典型应用场景、真实体验痛点、选型决策关键点进行拆解,并提供具体场景下的推荐方案。 一、核心功能定位速览 平台核心定位技术栈亮…...