当前位置： 首页 > news >正文

2023-04-27 polardbx-LSM-tree的Parallel Recovery性能优化

news 2026/5/19 11:57:08

背景

数据库的Crash Recovery时长关系到数据库的可用性SLA、故障止损时间、升级效率等多个方面。本文描述了针对X-Engine数据库存储引擎的一种Crash Recovery优化手段，在典型场景下可以显著缩短数据库实例的故障恢复时间，提升用户使用感受。

当前面临的问题

X-Engine是阿里自研的基于LSM-tree架构的数据库存储引擎，对X-Engine的数据更新是将变更数据并行插入无锁内存表（MemTable），同时为了防止MemTable过大影响数据查找和数据恢复的效率，系统会不定期将MemTable转换成不可修改的内存表（ImmutableMemTables），并将ImmutableMemTables整体Flush落盘；对无锁内存表的持久化通过WAL机制保证。关于LSM-tree结构和X-Engine的数据分层存储机制，可以阅读文章：X-Engine 一条数据的漫游


X-Engine存储引擎的故障恢复需要读取所有WAL文件并重新生成所有ImmutableMemTables 和MemTables。当前X-Engine的Crash Recovery流程分为以下两步：

  1. X-Engine存储引擎元信息回放，恢复系统元信息数据到shutdown前状态

  2. wal文件回放，逐条读取record，进行crc校验后，恢复所有的ImmutableMemTables和MemTables到shutdown前状态


当前MySQL(XEngine)线上实例有宕机重启缓慢的现象，通过对相关现场分析和线下试验，WAL的回放占据了X-Engine宕机重启的绝大部分时间。结合现有实现分析࿰

相关文章：

2023-04-27 polardbx-LSM-tree的Parallel Recovery性能优化

背景 数据库的Crash Recovery时长关系到数据库的可用性SLA、故障止损时间、升级效率等多个方面。本文描述了针对X-Engine数据库存储引擎的一种Crash Recovery优化手段，在典型场景下可以显著缩短数据库实例的故障恢复时间，提升用户使用感受。 当前面临的问题 X-Engine是阿里…...

编程日记 2023/5/1 14:50:54

创作纪念日让 AI 与我共同记录下今天 — 【第五周年、1460天】

今天正是五一，收到一条消息？ 五一还要我加班 😏？ 喔，原来是 CSDN 给我发的消息呀！我在 CSDN 不知不觉已经开启第五周年啦！ 目录 1.机缘2.收获3.日常4.我与 AI 的“合作”part Ipart II Super al…...

编程日记 2023/5/1 14:45:52

枚举法计算24点游戏

# 请在此处编写代码 # 24点游戏 import itertools# 计算24点游戏代码 def twentyfour(cards):"""(1)itertools.permutations(可迭代对象)：通俗地讲，就是返回可迭代对象的所有数学全排列方式。itertools.permutations("1118") -…...

编程日记 2023/5/1 14:40:51

@Cacheable注解

Cacheable注解是Spring框架中提供的一种缓存技术， 用于标记一个方法的返回值可以被缓存起来，当再次调用该方法时，如果缓存中已经存在缓存的结果，则直接从缓存中获取结果而不是再次执行该方法，从而提高系统的性能和响应…...

编程日记 2023/5/1 14:35:50

CentOS分区挂载 fdisk、parted方式解析

1 介绍 在linux中，通常会将持久化数据保存到硬盘当中，但是硬盘一把会比较大，因此我们为了方便管理，会将一个硬盘分成多个逻辑硬盘，称之为分区。 为了能够让分区中的文件使得能让操作系统处理，则需要对分区…...

编程日记 2023/5/1 14:30:48

BuildKit

介绍 BuildKit是一个现代化的构建系统，主要用于构建和打包容器镜像。它是Docker官方的构建引擎，支持构建多阶段构建、缓存管理、并行化构建、多平台构建等功能。BuildKit还支持多种构建语法和格式，包括Dockerfile、BuildKit Build Specifica…...

编程日记 2023/5/1 14:25:47

c++ 11标准模板（STL） std::vector (二）

定义于头文件 <vector> template< class T, class Allocator std::allocator<T> > class vector;(1)namespace pmr { template <class T> using vector std::vector<T, std::pmr::polymorphic_allocator<T>>; }(2)(C17…...

编程日记 2023/5/1 14:20:46

Python 循环技巧

目录 在字典中循环时&#xff0c;用 items() 方法可同时取出键和对应的值&#xff1a; 在序列中循环时&#xff0c;用 enumerate() 函数可以同时取出位置索引和对应的值&#xff1a; 同时循环两个或多个序列时&#xff0c;用 zip() 函数可以将其内的元素一一匹配&#xff1a…...

编程日记 2023/5/1 14:15:45

【Java笔试强训 7】

&#x1f389;&#x1f389;&#x1f389;点进来你就是我的人了博主主页&#xff1a;&#x1f648;&#x1f648;&#x1f648;戳一戳,欢迎大佬指点! 欢迎志同道合的朋友一起加油喔&#x1f93a;&#x1f93a;&#x1f93a; 目录 一、选择题 二、编程题 &#x1f525;Fibona…...

编程日记 2023/5/30 23:50:58

工作7年的程序员，明白了如何正确的“卷“

背景 近两年&#xff0c;出台和落地的反垄断法&#xff0c;明确指出要防止资本无序扩张。 这也就导致现在的各大互联网公司&#xff0c;不能再去染指其他已有的传统行业&#xff0c;只能专注自己目前存量的这些业务。或者通过技术创新&#xff0c;开辟出新的行业。 但创新这…...

编程日记 2023/5/1 14:05:43

数学建模——查数据

如果选择C题的小伙伴常常需要查找一些数据&#xff0c;那么这些数据一般都可以从哪里找到呢&#xff1f; 常用的查数据平台 优先在知网、谷歌学术等平台搜索国家统计局 最全面&#xff0c;月度季度年度&#xff0c;各地区各部门各行业&#xff0c;包罗万象 https://data.stat…...

编程日记 2023/5/1 14:00:42

PAT A1019 General Palindromic Number

1019 General Palindromic Number 分数 20 作者 CHEN, Yue 单位 浙江大学 A number that will be the same when it is written forwards or backwards is known as a Palindromic Number. For example, 1234321 is a palindromic number. All single digit numbers are pa…...

编程日记 2023/5/1 13:55:41

ChatGPT会颠覆SEO内容创作吗

近几年 AI 的发展日新月异。除了搜索算法本身大规模应用人工智能&#xff0c;我也一直关注着 AI 用于写作的进展。 上篇关于 Google 有用内容更新的帖子还在说&#xff0c;高质量内容创作是 SEO 最难的事之一&#xff0c;对某些网站来说&#xff0c;如果能有工具帮助&#xff…...

编程日记 2023/5/1 13:50:40

Maven私服搭建

为什么要搭建私服 通常在maven项目的pom.xml文件中引入了某个依赖包之后&#xff0c;maven首先会去本地仓库去搜索&#xff0c;本地仓库搜索不到会去maven的配置文件settings.xml中配置的maven镜像地址去找&#xff0c;比如&#xff1a; <mirrors><!-- mirror| Specif…...

编程日记 2023/5/1 13:45:38

Ajax和Json综合案例

1. 查询所有 创建brand.html,使用axios发送请求&#xff0c;其中查询一般采用get的请求方式 <script src"js/axios-0.18.0.js"></script><script>//1. 当页面加载完成后&#xff0c;发送ajax请求window.onload function () {//2. 发送ajax请求axi…...

编程日记 2023/6/1 11:05:22

【genius_platform软件平台开发】第九十四讲：int64_t的格式化问题（lld和PRId64）

问题起因是在进行上位机软件优化的工作安排时&#xff0c;同事对unsigned long long 类型的时间戳进行了格式化输出优化&#xff0c;从%ull优化为了% PRIu64&#xff0c;我进行代码合并请求处理的时候突然感觉这个可以仔细查一下。查阅到的相关资料如下&#xff1a; * 1. int6…...

编程日记 2023/5/1 13:35:35

多模态之clip

论文&#xff1a;Learning Transferable Visual Models From Natural Language Supervision Github&#xff1a;https://github.com/OpenAI/CLIP OpenAI出品 论文通过网络爬取4亿(image, text)对&#xff0c;使用对比学习的方法训练得到clip&#xff08;Contrastive Languag…...

编程日记 2023/5/1 13:30:28

Lombok常用注解

文章目录 一、简介二、Idea中配置三、Maven中配置四、相应注解1、Data2、RequiredArgsConstructor3、AllArgsConstructor4、NoArgsConstructor5、Getter/Setter:6、ToString7、EqualsAndHashCode8、Builder9、NonNull10、Log11、Slf4j12、Log4j213、SneakyThrows14、Cleanup15、…...

编程日记 2023/5/1 13:25:27

加拿大各省接受公立教育的初始年龄汇总 — 供携子女赴加的访学、博后参考

近年来到加拿大从事访问学者和博士后研究的申请者日益增多&#xff0c;有些申请者想带孩子同去上公立学校。因为加拿大各省教育局政策有差异&#xff0c;所以入学&#xff08;包括学前班&#xff09;年龄不同&#xff0c;为此知识人网小编整理本文为大家解惑答疑。 加拿大为本国…...

编程日记 2023/5/1 13:20:25

数字化工厂：虹科Vuzix AR眼镜在工业制造中的革新应用

随着现代科学技术和新兴需求的快速增长&#xff0c;增强现实(AR)、各种“现实”产品与技术不断涌入创新市场&#xff0c;新兴用例数量正在快速增长&#xff0c;可以肯定&#xff0c;在可预见的未来&#xff0c;AR技术将成为各行各业的生产与工作主流。 增强现实&#xff08;AR&…...

编程日记 2023/5/29 19:16:52

3步高效下载抖音无水印视频：douyin_downloader专业解决方案完整指南

3步高效下载抖音无水印视频&#xff1a;douyin_downloader专业解决方案完整指南 【免费下载链接】douyin_downloader 抖音短视频无水印下载 win编译版本下载&#xff1a;https://www.lanzous.com/i9za5od 项目地址: https://gitcode.com/gh_mirrors/dou/douyin_downloader …...

编程新知 2026/5/19 10:58:56

传统 OA 系统为什么难以满足现代企业管理需求

传统 OA 系统为什么难以满足现代企业管理需求 OA 曾经是很多企业数字化的起点&#xff1a;通知公告、请假报销、文件流转、会议管理、用印审批&#xff0c;让办公室从纸质时代进入线上时代。但今天&#xff0c;企业对 OA 的期待已经变了。 现代企业不只需要“把审批搬到线上…...

编程新知 2026/5/19 9:25:17

完全掌握JetBrains IDE试用期重置：从原理到实战的终极解决方案

完全掌握JetBrains IDE试用期重置&#xff1a;从原理到实战的终极解决方案 【免费下载链接】ide-eval-resetter 项目地址: https://gitcode.com/gh_mirrors/id/ide-eval-resetter 还在为JetBrains系列开发工具的试用期限制而困扰吗&#xff1f;IDE Eval Resetter为您提…...

编程新知 2026/5/19 8:57:17

基于Spark的分布式量化交易框架：事件驱动架构与实战开发

1. 项目概述与核心价值最近在跟几个做量化交易的朋友聊天&#xff0c;发现一个挺有意思的现象&#xff1a;大家手里或多或少都有一些基于Python的量化策略&#xff0c;但真正能稳定、高效、自动化跑起来的&#xff0c;却不多。问题往往出在几个地方&#xff1a;要么是本地机器性…...

编程新知 2026/5/19 8:47:10

别再只会用menuconfig了！手把手教你为ESP32项目定制专属Kconfig配置菜单

从配置使用者到设计者&#xff1a;ESP32项目中的Kconfig高级定制指南 在ESP-IDF开发环境中&#xff0c;menuconfig几乎是每个开发者每天都要接触的工具。但大多数开发者仅仅停留在"使用者"层面——他们知道如何勾选选项、调整参数&#xff0c;却很少思考这些配置菜单…...

编程新知 2026/5/19 8:07:57

使用 Elcomsoft System Recovery 恢复 Windows 凭据

在传统的取证工作流程中&#xff0c;获取 Windows 系统的访问权限曾是一件比较直接的事情&#xff1a;从本地数据库中提取 NT 哈希&#xff0c;然后运行一次快速的离线攻击。如今&#xff0c;Windows 身份验证正从那些本质上不安全的 NTLM 哈希向更具弹性的机制迁移。微软正积极…...

编程新知 2026/5/19 7:20:21

Arm SVE2向量存储指令ST3Q/ST4Q详解与应用优化

1. SVE2向量存储指令概述在Armv9架构中&#xff0c;SVE2&#xff08;Scalable Vector Extension 2&#xff09;作为第二代可扩展向量指令集&#xff0c;引入了多项增强的向量处理能力。其中ST3Q和ST4Q指令是专门为高效存储三路和四路128位宽向量数据而设计的谓词化存储操作。这…...

编程新知 2026/5/19 7:07:04

7B秒杀70B！大模型微调秘籍全解：从理论到实战，玩转高效适配！

本文系统介绍了大模型微调的理论框架与实践流程。阐述了微调的必要性&#xff0c;即弥补通用大模型在领域知识、输出格式及行为对齐上的不足&#xff0c;并说明微调效果可超越更大参数的未微调模型。文章深入解析了微调原理&#xff0c;对比了全参数微调与高效微调&#xff08;…...

编程新知 2026/5/19 7:00:00

通过用量看板与账单追溯实现团队 AI 成本精细化管理

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 通过用量看板与账单追溯实现团队 AI 成本精细化管理 对于技术团队而言&#xff0c;将大模型能力集成到产品与研发流程中已成为常态…...

编程新知 2026/5/19 6:22:32

别只盯着密码爆破：身份认证漏洞的3个“非主流”攻击面与防御思考

身份认证安全的隐秘战场&#xff1a;超越密码爆破的三大高阶攻防实践 在网络安全领域&#xff0c;身份认证机制如同数字世界的门锁系统。当大多数安全从业者将注意力集中在传统的密码爆破防御时&#xff0c;攻击者早已将目光转向那些被忽视的认证薄弱环节。本文将深入剖析三个常…...

编程新知 2026/5/19 6:20:24