2023-11-06 monetdb-事务-insert-delta缓存-分析
摘要:
monetdb在事务处理时, 会将数据写入delta缓存中, 然后在commit时将数据写入wal文件, 随后由控制器决定何时将wal中的数据真正的写入BAT列文件中.
本文从delta缓存入手, 分析monetdb在事务处理中的细节.
SQL:
DML:
create table t1 (a int);事务DDL:
START TRANSACTION;insert into t1 values (4);COMMIT;trace日志:
mserver启动后第一次执行insert:
ALGO monetdb5/mal/mal_interpreter.c:716 runMALsequence calling querylog.define
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.transaction_begin
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.exportOperationALGO monetdb5/mal/mal_interpreter.c:716 runMALsequence calling querylog.define
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.mvc
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.claim
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.append
IO_ gdk/gdk_bbp.c:3156 getBBPdescriptor load tmp_550
IO_ gdk/gdk_storage.c:637 DESCload DESCload: 05/550
IO_ gdk/gdk_storage.c:536 GDKload GDKload: name=05/550.tail, ext=, mode 1
IO_ gdk/gdk_storage.c:558 GDKload read(dst 0x7f01e8040cc0, n_expected 12, fd 9) = 12
ALGO gdk/gdk_bat.c:1039 BUNappendmulti tmp_550#3@0[int]P appending 1 values
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.depend
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.affectedRowsALGO monetdb5/mal/mal_interpreter.c:716 runMALsequence calling querylog.define
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.transaction_commit
IO_ gdk/gdk_bbp.c:3156 getBBPdescriptor load tmp_551
IO_ gdk/gdk_storage.c:637 DESCload DESCload: 05/551
IO_ gdk/gdk_storage.c:536 GDKload GDKload: name=05/551.tail, ext=, mode 1
IO_ gdk/gdk_storage.c:558 GDKload read(dst 0x7f01e8037d30, n_expected 4, fd 9) = 4
ALGO monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.exportOperationmserver启动后第二次连续执行两次insert:
monetdb5/mal/mal_interpreter.c:716 runMALsequence calling querylog.define
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.transaction_begin
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.exportOperationmonetdb5/mal/mal_interpreter.c:716 runMALsequence calling querylog.define
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.mvc
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.claim
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.append
gdk/gdk_bat.c:1039 BUNappendmulti tmp_550#4@0[int]P appending 1 values
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.depend
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.affectedRowsmonetdb5/mal/mal_interpreter.c:716 runMALsequence calling querylog.define
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.mvc
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.claim
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.append
gdk/gdk_bat.c:1039 BUNappendmulti tmp_550#5@0[int]P appending 1 values
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.depend
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.affectedRowsmonetdb5/mal/mal_interpreter.c:716 runMALsequence calling querylog.define
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.transaction_commit
monetdb5/mal/mal_interpreter.c:687 runMALsequence calling sql.exportOperation核心处理:
BUNappendmulti
#0 BUNappendmulti (b=0x1a366680, values=0x7f01e803c600, count=1, force=true) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/gdk/gdk_bat.c:1028
#1 0x00007f0283fb03d6 in delta_append_val (tr=0x7f01e8004540, batp=0x7f027e1f51e8, id=7590, offset=6, i=0x7f01e803c600, cnt=1, storage_type=0x0, tt=6)at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/sql/storage/bat/bat_storage.c:2319
#2 0x00007f0283fb0688 in append_col_execute (tr=0x7f01e8004540, delta=0x7f027e1f51e8, id=7590, offset=6, offsets=0x0, incoming_data=0x7f01e803c600, cnt=1, tt=6, storage_type=0x0)at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/sql/storage/bat/bat_storage.c:2354
#3 0x00007f0283fb0969 in append_col (tr=0x7f01e8004540, c=0x1a571380, offset=6, offsets=0x0, data=0x7f01e803c600, cnt=1, tpe=6)at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/sql/storage/bat/bat_storage.c:2384
#4 0x00007f0283e38a3c in mvc_append_wrap (cntxt=0x237c610, mb=0x7f01e8035660, stk=0x7f01e803c4d0, pci=0x7f01e8045000)at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/sql/backends/monet5/sql.c:1842
#5 0x00007f0297637047 in runMALsequence (cntxt=0x237c610, mb=0x7f01e8035660, startpc=1, stoppc=0, stk=0x7f01e803c4d0, env=0x0, pcicaller=0x0)at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/monetdb5/mal/mal_interpreter.c:688
#6 0x00007f02976357be in runMAL (cntxt=0x237c610, mb=0x7f01e8035660, mbcaller=0x0, env=0x0) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/monetdb5/mal/mal_interpreter.c:357
#7 0x00007f0283e5963b in SQLrun (c=0x237c610, m=0x7f01e80168d0) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/sql/backends/monet5/sql_execute.c:259
#8 0x00007f0283e5af37 in SQLengineIntern (c=0x237c610, be=0x7f01e8036150) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/sql/backends/monet5/sql_execute.c:709
#9 0x00007f0283e58505 in SQLengine (c=0x237c610) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/sql/backends/monet5/sql_scenario.c:1358
#10 0x00007f02976568c0 in runPhase (c=0x237c610, phase=4) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/monetdb5/mal/mal_scenario.c:453
#11 0x00007f0297656a2a in runScenarioBody (c=0x237c610, once=0) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/monetdb5/mal/mal_scenario.c:479
#12 0x00007f0297656c36 in runScenario (c=0x237c610, once=0) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/monetdb5/mal/mal_scenario.c:510
#13 0x00007f0297659048 in MSserveClient (c=0x237c610) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/monetdb5/mal/mal_session.c:589
#14 0x00007f02976588c1 in MSscheduleClient (command=0x7f01e8000b70 '\333' <repeats 199 times>, <incomplete sequence \333>..., challenge=0x7f027e1f5ce3 "HJBNRi7c", fin=0x7f01e8002b90, fout=0x7f01f0003e20, protocol=PROTOCOL_9, blocksize=8190) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/monetdb5/mal/mal_session.c:445
#15 0x00007f029771e232 in doChallenge (data=0x7f01f0000b70) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/monetdb5/modules/mal/mal_mapi.c:222
#16 0x00007f0296fcf749 in THRstarter (a=0x7f01f0006310) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/gdk/gdk_utils.c:1668
#17 0x00007f029704cb43 in thread_starter (arg=0x7f01f0006380) at /root/work/monetdb-dev/trunk/monetdb-sep2022_sp3_release/gdk/gdk_system.c:862
#18 0x00007f029658d1ca in start_thread () from /lib64/libpthread.so.0
#19 0x00007f02961f9e73 in clone () from /lib64/libc.so.6
相关文章：
2023-11-06 monetdb-事务-insert-delta缓存-分析
摘要: monetdb在事务处理时, 会将数据写入delta缓存中, 然后在commit时将数据写入wal文件, 随后由控制器决定何时将wal中的数据真正的写入BAT列文件中. 本文从delta缓存入手, 分析monetdb在事务处理中的细节. SQL: DML: create table t1 (a int); 事务DDL: START TRANSACTI…...
ubuntu 22.04 flameshot 截图异常的问题
方法找了好久，终于找到一个有用的 Firstly do not install flameshot from snapstore, install it using apt. Go to /etc/gdm3/custom.confRemove the comment on #WaylandEnablefalse Your custom.conf file should be like this: # GDM configuration storag…...
正点原子嵌入式linux驱动开发——Linux WIFI驱动
WIFI的使用已经很常见了，手机、平板、汽车等等，虽然可以使用有线网络，但是有时候很多设备存在布线困难的情况，此时WIFI就是一个不错的选择。正点原子STM32MP1开发板支持USB和SDIO这两种接口的WIFI，本章就来学习一下如何…...
React中的“状态”（state）和“属性”（props）的区别
在React中，"状态"（state）和"属性"（props）是两个重要的概念，它们在组件的生命周期和数据流中扮演着不同的角色。 状态（State）： 状态是React组件中用…...
棋牌室电脑计时灯控，棋牌室计时灯控安装，佳易王计时计费管理系统软件
棋牌室电脑计时灯控，棋牌室计时灯控安装，佳易王计时计费管理系统软件 棋牌室的灯可以用佳易王计时计费软件来控制开关，当开始计时的时候，软件发送开灯的指令，灯打开，在结账后，软件发送关灯指令…...
P02项目诊断报警组件（学习操作日志记录、单元测试开发）
★ P02项目诊断报警组件 诊断报警组件的主要功能有： 接收、记录硬件设备上报的报警信息。从预先设定的错误码对照表中找到对应的声光报警和蜂鸣器报警策略，结合当前的报警情况对设备下发报警指示。将报警消息发送到消息队列，由其它组件发送…...
【ARM Trace32(劳特巴赫) 使用介绍 2 - Veloce 环境中使用trace32 连接 Cortex-M33】
请阅读【ARM Coresight SoC-400/SoC-600 专栏导读】 文章目录 T32MARM 介绍Trace32 .t32 和 .cmm 差异veloce 下启动TRACE321.1.3 TAP 状态机操作命令1.1.3.1 IDCODE（Identification Code）寄存器 介绍 T32MARM 介绍 T32MARM 是 Lauterbach 的 Trace32 …...
服务器硬件有哪些组成
服务器是由处理器、硬盘、内存、显卡、主板、网卡等组成，今天小编带大家了解一下服务器有哪些硬件吧！ 1.最重要的当然就是处理器了，处理器就相当于是服务器的大脑，负责执行各种运算和指令，例如运行程序或者处理数据&am…...
【Git】Git基础命令操作速记
【Git】Git基础命令操作速记 文章目录 【Git】Git基础命令操作速记1. 初始化1.1 设置用户名和邮箱1.2 初始化仓库 2. 基础命令2.1 add和commit2.2 reset2.3 查看日志2.4 删除/找回本地仓库文件2.5 找回暂存区文件2.6 diff命令(找不同) 3. 分支命令3.1 查看分支3.2 创建分支3.3 …...
使用CDN有什么好处？
近年来，随着互联网的快速发展，越来越多的企业开始发展互联网业务，出现了各种各样的网站和web程序，互联网改变了人们的生活习惯与消费行为，人们也是越来越依赖网络，而这些改变让互联网产业得到更加迅速发展。…...
11.7加减计数器，可置位~，数字钟分秒，串转并，串累加转并，24位串并128，流水乘法器，一些乘法器
信号发生器 方波，就是一段时间内都输出相同的信号 锯齿波就是递增 三角波就是先增后减 加减计数器 当mode为1则加，Mode为0则减；只要为0就输出zero 这样会出问题，因为要求是十进制，但是这里并没有考虑到9之后怎么办&a…...
【模型推理优化学习笔记】CUDA加速矩阵乘计算
矩阵乘可以利用gpu多线程并行的特点进行加速计算，但是传统简单的方法需要多次读取数据到寄存器中，增加耗时，因此利用gpu的共享内存可以被一个block内的所有线程访问到的特性，结合tiling技术进行加速计算。 理论部分不解释了&#…...
第三届 “鹏城杯”（初赛）
第三届 “鹏城杯”（初赛） WEB Web-web1 反序列化tostring打Hack类 Payload:O%3A1%3A%22H%22%3A1%3A%7Bs%3A8%3A%22username%22%3BO%3A6%3A%22Hacker%22%3A2%3A%7Bs%3A11%3A%22%00Hacker%00exp%22%3BN%3Bs%3A11%3A%22%00Hacker%00cmd%22%3BN%3B%7D%7D…...
React Hooks为什么要在顶层使用？
为什么必须在函数顶层使用hooks？ 使用过 hooks 的小伙伴应该都会发现，hooks只能在函数式组件的顶层使用，不能在循环，条件或嵌套函数中调用 Hook。 为什么呢？ 查阅了很多答案，总结如下： hook…...
Vscode Vim自动切换
在VsCode里安装了Vim插件，由于Vim插件存在Normal和Insert两种模式，会需要经常性的按shift切换中英文，太过麻烦，本文介绍一下如何通过im-select来解决。 首先先确保自己的电脑里装有英文语言包，win10系统下可以使用Win…...
C语言初学1：详解#include ＜stdio.h＞
一、概念 #include <stdio.h> 称为编译预处理命令，它在告诉C编译器在编译时包含stdio.h文件，如果在代码中，调用了这个头文件中的函数或者宏定义，则需引用该头文件。 二、作用 stdio.h是c语言中的标准输入输出的头文件&am…...
5 Tensorflow图像识别（下）模型构建
上一篇：4 Tensorflow图像识别模型——数据预处理-CSDN博客 1、数据集标签 上一篇介绍了图像识别的数据预处理，下面是完整的代码： import os import tensorflow as tf# 获取训练集和验证集目录 train_dir os.path.join(cats_and_dogs_filter…...
OpenCV 图像复制和图像区域读写
图像复制 共享数据, 使用 new Mat(srcMat, ...) 和 newMatsrcMat 生成新的Mat都和原Mat共享数据, 也就是说如果修改某一Mat,其他Mat也会随之改变复制全新的Mat, 使用CopyTo() 和 Clone() 方法将生成一个全新的Mat, 新Mat和原Mat不共享数据. 图像区域和点的读写 区域读取: 通过s…...
【分布式事务】初步探索分布式事务的概率和理论，初识分布式事的解决方案 Seata，TC 服务的部署以及微服务集成 Seata
文章目录 一、分布式服务案例1.1 分布式服务 demo1.2 演示分布式事务问题 二、分布式事务的概念和理论2.1 什么是分布式事务2.2 CAP 定理2.3 BASE 理论2.4 分布式事务模型 三、分布式事务解决方案 —— Seata3.1 什么是 Seata3.2 Seata 的架构3.3 Seata 的四种分布式事务解决方…...
es6过滤对象里面指定的不要的值filter过滤
//过滤出需要的值this.dataItemTypeSelectOption response.data.filter(ele > ele.dictValue tree||ele.dictValue float4);//过滤不需要的值this.dataItemTypeSelectOption response.data.filter((item) > {return item.dictValue ! "float4"&&it…...
IDEA运行Tomcat出现乱码问题解决汇总
最近正值期末周，有很多同学在写期末Java web作业时，运行tomcat出现乱码问题，经过多次解决与研究，我做了如下整理： 原因： IDEA本身编码与tomcat的编码与Windows编码不同导致，Windows 系统控制台…...
css实现圆环展示百分比，根据值动态展示所占比例
代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...
2024年赣州旅游投资集团社会招聘笔试真
2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案，答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年，()预言了电磁波的存在，并指出…...
新能源汽车智慧充电桩管理方案：新能源充电桩散热问题及消防安全监管方案
随着新能源汽车的快速普及，充电桩作为核心配套设施，其安全性与可靠性备受关注。然而，在高温、高负荷运行环境下，充电桩的散热问题与消防安全隐患日益凸显，成为制约行业发展的关键瓶颈。 如何通过智慧化管理手段优化散…...
【OSG学习笔记】Day 16: 骨骼动画与蒙皮（osgAnimation）
骨骼动画基础 骨骼动画是 3D 计算机图形中常用的技术，它通过以下两个主要组件实现角色动画。 骨骼系统 (Skeleton)：由层级结构的骨头组成，类似于人体骨骼蒙皮 (Mesh Skinning)：将模型网格顶点绑定到骨骼上，使骨骼移动…...
网站指纹识别
网站指纹识别 网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍 为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...
宇树科技，改名了！
提到国内具身智能和机器人领域的代表企业，那宇树科技（Unitree）必须名列其榜。 最近，宇树科技的一项新变动消息在业界引发了不少关注和讨论，即： 宇树向其合作伙伴发布了一封公司名称变更函称，因…...
【MATLAB代码】基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），附源代码|订阅专栏后可直接查看
文章所述的代码实现了基于最大相关熵准则（MCC）的三维鲁棒卡尔曼滤波算法（MCC-KF），针对传感器观测数据中存在的脉冲型异常噪声问题，通过非线性加权机制提升滤波器的抗干扰能力。代码通过对比传统KF与MCC-KF在含异常值场景下的表现，验证了后者在状态估计鲁棒性方面的显著优…...
「Java基本语法」变量的使用
变量定义 变量是程序中存储数据的容器，用于保存可变的数据值。在Java中，变量必须先声明后使用，声明时需指定变量的数据类型和变量名。 语法 数据类型 变量名 [ 初始值]; 示例：声明与初始化 public class VariableDemo {publi…...
作为点的对象CenterNet论文阅读
摘要 检测器将图像中的物体表示为轴对齐的边界框。大多数成功的目标检测方法都会枚举几乎完整的潜在目标位置列表，并对每一个位置进行分类。这种做法既浪费又低效，并且需要额外的后处理。在本文中，我们采取了不同的方法。我们将物体建模为单…...