当前位置: 首页 > article >正文

2TB 数据库增量备份还要 200GB?KES块级永久增量备份,存储省 80%、速度快 60%

引言增量备份比全量备份还心虚作为 DBA你一定经历过这样的尴尬时刻“今天是增量备份日预计耗时……嗯……大概两个小时吧。”“增量全量才两个半小时啊”“对……差不多吧。”这并非段子。在传统数据库的增量备份方案中增量备份的实际空间占用和耗时往往逼近甚至接近全量备份。原因在于大多数增量备份的最小粒度是文件或表空间级别哪怕文件中只有几 KB 的数据发生了变化整个文件通常是几百 MB 甚至几 GB也要完整备份一次。对于 TB 级的数据库和热点频繁更新的场景这个问题被进一步放大。每天几百万笔交易修改的数据块散落在数百个文件中——传统的文件级增量备份本质上就是把大部分没变动的数据再拷一遍。金仓数据库在 V9R4C19 版本中推出了块级永久增量备份Block-Level Permanent Incremental Backup从根本上改变了增量备份的粒度模型。本文将从原理、实测和运维实践三个维度完整解读这项特性。核心能力一览能力说明块增量备份以 8KB 数据块为最小粒度只拷贝发生改变的块备份集合并连续块备份集定期合并生成新全量不再需要周期性全量备份永久增量理论上可以一直做增量备份无需周期性地回退到全量原理深度解析传统增量备份为什么不增量传统的增量备份通常以文件为最小单元全量备份拷贝所有数据文件 → 2043 GB 增量备份拷贝有变更的数据文件 → 文件哪怕只改了 1 个字节整个文件也要拷 结果 → ~2000 GB几乎没有减少这就好比你去超市只买了两瓶水但结账时要求你把整个购物车里所有的东西重新扫码一遍。块级增量备份的工作原理金仓的块级增量备份将最小粒度从文件缩小到8KB 数据块全量备份拷贝所有 8KB 数据块 → 2043 GB 增量备份只拷贝发生变化的 8KB 块 → 150~300 GB具体取决于业务变更率这就像超市的智能结算——只扫你真正购买的商品。技术实现┌─────────────────────────────────────────────────────┐ │ KingbaseES 实例 │ │ │ │ ┌──────────────┐ ┌─────────────┐ │ │ │ ktrack 插件 │───→│ 块变更追踪表 │ │ │ │ (跟踪变化) │ │ (哪些块变了) │ │ │ └──────────────┘ └──────┬──────┘ │ │ │ │ │ ┌───────────────────────────▼──────────────┐ │ │ │ 备份引擎 │ │ │ │ 1. 读取变更追踪信息 │ │ │ │ 2. 只拷贝变更的 8KB 块 │ │ │ │ 3. 生成增量备份集 │ │ │ └───────────────────────────────────────────┘ │ │ │ │ ┌───────────────────────────────────────────┐ │ │ │ 备份集合并引擎 │ │ │ │ F P1 P2 → 新 F1压扁引用链 │ │ │ │ 类似 Git 的 commit squash │ │ │ └───────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────┘关键组件包括ktrack 插件跟踪每个 8KB 数据块的变化状态。每当一个数据块被修改脏写插件会在变更追踪表中标记该块。差异 引用链机制类似 Git 的版本管理。每个增量备份集包含变更块的快照并引用之前备份集中未变化的块。通过引用链任何一个时间点的备份集都可以还原出完整的数据库状态。备份集合并当引用链过长时通过合并操作将多个增量备份集与基础全量备份集合并为新的全量备份压扁引用链。这与 Git 中的 squash 操作异曲同工。什么是永久增量传统备份策略通常遵循这样的周期周日全量备份 周一增量备份 周二增量备份 周三增量备份 ... 下周日再来一次全量备份因为增量链太长合并/恢复代价太高而块级永久增量备份打破了这个循环Day 0全量备份F Day 1增量备份P1——只含变更块 Day 2增量备份P2——只含变更块 Day 3增量备份P3——只含变更块 Day N增量备份Pn——只含变更块 ... 定期F P1 ... Pk → 新 F1备份集合并后台异步执行永久增量的核心意义在于你不再需要周期性地停止增量备份链、重新做全量备份。备份集合并可以在后台异步进行对在线业务几乎无感知。实测数据以下实测基于 2TB 数据库每天约 200GB 数据变更的场景备份方式备份大小备份耗时说明全量备份2043 GB205 分钟基准文件级增量~2000 GB~200 分钟几乎等同于全量块级增量150~300 GB60~120 分钟仅变更块换算为百分比指标改善幅度存储空间节省近80%备份耗时加速近60%场景分析块级增量备份在以下场景中优势尤其明显TB 级数据库数据量越大文件级增量的冗余越多块级增量的收益越显著热点频繁更新高并发 OLTP 场景中变更集中在部分热点数据块大部分块长期不变备份窗口紧张增量备份速度提升 60%为业务高峰留出更多可用时间存储成本敏感节省 80% 备份空间直接降低存储采购成本配置与操作开启块级增量备份-- 在 kingbase.conf 中设置以下参数_continue_incry-- 启用连续增量模式_incr_typepage-- 增量类型为页块级别注意这两个参数以_开头表示它们是实验性或高级特性参数需要在评估后谨慎启用。备份集合并操作# 使用 sys_rman 工具执行备份集合并# 将基础全量备份 F 与增量备份 P1、P2 合并为新的全量备份 F1sys_rman merge --backup-dir/path/to/backup\--target-backupF\--incremental-backupsP1,P2合并操作是后台异步执行的不会阻塞在线业务。建议在业务低峰期执行。恢复示例# 从块级增量备份恢复sys_rman restore --backup-dir/path/to/backup\--target-time2026-04-24 14:00:00恢复引擎会自动沿着引用链找到目标时间点所需的所有块拼装出完整的数据库状态。约束与注意事项约束项说明不支持压缩块级增量备份目前不支持压缩格式不支持加密备份集不支持加密存储HA 场景高可用环境下需手动追加块增量备份暂不支持自动同步运维建议定期合并备份集虽然支持永久增量但建议定期如每周合并备份集避免引用链过长影响恢复速度选择合适的合并窗口合并操作消耗 I/O 资源建议在业务低峰期执行监控 ktrack 插件状态确保变更追踪插件正常运行否则增量备份将退化为全量恢复演练定期执行恢复演练验证块级增量备份的可用性与竞品的对比特性KingbaseES V9R4C19传统方案增量备份粒度8KB 块级文件级备份空间2TB 场景150~300 GB~2000 GB备份耗时2TB 场景60~120 分钟~200 分钟永久增量支持需定期全量备份集合并支持类似 Git squash不支持总结金仓数据库 V9R4C19 的块级永久增量备份通过三项核心技术解决了长期困扰 DBA 的备份难题8KB 块级粒度将备份单位从文件缩小到数据块只拷贝真正变化的数据永久增量模型打破全量-增量的周期循环一直做增量、不再需要定期全量备份集合并类似 Git 的引用链压扁机制异步合并不阻塞在线业务对于 TB 级数据库和高并发更新场景存储空间节省 80%、备份速度提升 60%的实测数据意味着更低的运维成本和更短的业务恢复时间。如果你还在为增量备份慢得像全量而头疼这项特性值得认真评估。

相关文章:

2TB 数据库增量备份还要 200GB?KES块级永久增量备份,存储省 80%、速度快 60%

引言:增量备份比全量备份还"心虚" 作为 DBA,你一定经历过这样的尴尬时刻:“今天是增量备份日,预计耗时……嗯……大概两个小时吧。” “增量?全量才两个半小时啊?” “对……差不多吧。”这并非段…...

PyTorch-OpCounter终极测试指南:5步编写可靠的算子计数测试用例

PyTorch-OpCounter终极测试指南:5步编写可靠的算子计数测试用例 【免费下载链接】pytorch-OpCounter Count the MACs / FLOPs of your PyTorch model. 项目地址: https://gitcode.com/gh_mirrors/py/pytorch-OpCounter PyTorch-OpCounter是一款用于计算PyTor…...

如何快速集成Deep Learning with Python到Web应用:Flask与FastAPI完整指南

如何快速集成Deep Learning with Python到Web应用:Flask与FastAPI完整指南 【免费下载链接】deep-learning-with-python-notebooks Jupyter notebooks for the code samples of the book "Deep Learning with Python" 项目地址: https://gitcode.com/gh…...

Rack安全漏洞修复终极指南:如何快速保护你的Web应用

Rack安全漏洞修复终极指南:如何快速保护你的Web应用 【免费下载链接】rack A modular Ruby web server interface. 项目地址: https://gitcode.com/gh_mirrors/ra/rack Rack作为Ruby Web开发的核心接口,其安全性直接关系到无数Web应用的防护能力。…...

终极指南:Chrono 自然语言日期解析如何通过增量技术实现10倍性能优化

终极指南:Chrono 自然语言日期解析如何通过增量技术实现10倍性能优化 【免费下载链接】chrono A natural language date parser in Javascript 项目地址: https://gitcode.com/gh_mirrors/ch/chrono Chrono 是一款强大的 JavaScript 自然语言日期解析库&…...

如何全面测试Talebook个人书库:从单元测试到集成测试的实用指南

如何全面测试Talebook个人书库:从单元测试到集成测试的实用指南 【免费下载链接】talebook 一个简单好用的个人书库 项目地址: https://gitcode.com/gh_mirrors/ta/talebook Talebook作为一款简单好用的个人书库系统,其稳定性和可靠性直接影响用户…...

Pinion-OS:嵌入式与物联网开发的轻量级微内核操作系统实践

1. 项目概述:一个为嵌入式与物联网而生的精简操作系统最近在嵌入式开发社区里,一个名为Pinion-OS的项目引起了我的注意。它的 GitHub 仓库地址是Azure55562/pinion-os。乍一看这个名字,你可能会联想到“小齿轮”(Pinion&#xff0…...

基于Next.js与OpenAI的AI色彩生成器:从情绪文字到CSS渐变的实现

1. 项目概述:用AI将情绪文字转化为色彩渐变 最近在做一个设计相关的项目,需要根据不同的内容主题快速生成匹配的配色方案,尤其是背景渐变。手动从色轮里挑颜色、调渐变角度和位置,既耗时又容易陷入选择困难。就在我到处找灵感的时…...

中文商业报告Markdown模板:提升效率与专业度的结构化写作框架

1. 项目概述:一份开箱即用的中文商业报告模板最近在整理团队季度复盘材料,发现一个挺普遍的问题:大家花在数据整理和格式调整上的时间,远比分析业务本身要多。一份商业报告,从数据清洗、图表制作到排版成文&#xff0c…...

Go语言终端动画库Charivo:打造流畅CLI交互体验

1. 项目概述与核心价值最近在开源社区里,一个名为zeikar/charivo的项目引起了我的注意。乍一看这个标题,它不像那些功能描述直白的项目,比如“XX管理系统”或“XX工具包”。zeikar是作者或组织的标识,而charivo这个名字听起来像是…...

别再傻傻分不清了!家装水电改造中火线、零线、地线的颜色标准与接线实战(附常见开关插座接线图)

家装电路改造实战指南:从电线颜色识别到安全接线全解析 第一次拆开家里的开关面板时,那几根颜色各异的电线让我彻底懵了——红色、蓝色、黄绿相间的线缠绕在一起,像是一道无解的谜题。作为DIY爱好者,我原以为换个插座不过是拧几个…...

ResearchClawBench:AI科研能力基准测试实战部署与评估指南

1. 项目概述:一个重新定义AI科研能力的基准测试 如果你和我一样,长期关注AI在科研自动化领域的发展,那你一定见过不少“AI科学家”的演示。它们能写代码、能画图、甚至能生成看起来像模像样的论文草稿。但一个核心问题始终悬而未决&#xff…...

FPGA协处理器加速CPU性能的技术与实践

1. FPGA协处理器加速CPU性能的技术背景在嵌入式系统开发中,我们经常遇到一个经典困境:产品迭代需要更强的计算能力,但原有CPU已经达到性能天花板。传统解决方案不外乎三种:提升时钟频率(很快会遇到物理极限&#xff09…...

如何在Voxelman中使用Burst Compiler加速计算:提升Unity DOTS性能的终极指南

如何在Voxelman中使用Burst Compiler加速计算:提升Unity DOTS性能的终极指南 【免费下载链接】Voxelman Unity DOTS/ECS example 项目地址: https://gitcode.com/gh_mirrors/vo/Voxelman Voxelman作为Unity DOTS/ECS示例项目,展示了高效的实体组件…...

开源ERP Trenova:云原生架构重塑运输物流管理

1. 项目概述:一个开源ERP的现代探索 最近在开源社区里,一个名为 Trenova 的项目引起了我的注意。它的全称是 kubaparol/trenova ,从名字就能看出,这是一个部署在 Kubernetes 上的应用。但它的定位远不止于此——它是一个旨在为…...

CongaLine:轻量级部署流水线工具,实现环境一致性

1. 项目概述:当“康加舞”遇上代码流水线如果你在软件开发领域摸爬滚打了一段时间,尤其是经历过从单体应用到微服务架构的转型,那么对“部署”这个词的感受一定很复杂。它可能是午夜时分的一次次手动脚本执行,是不同环境间配置文件…...

Google Engineering Practices:一站式版本控制策略终极指南

Google Engineering Practices:一站式版本控制策略终极指南 【免费下载链接】eng-practices Googles Engineering Practices documentation 项目地址: https://gitcode.com/gh_mirrors/en/eng-practices Google Engineering Practices 是一套全面的软件工程实…...

告别VSCode!用Segger Embedded Studio玩转HPM6750 RISC-V开发(附详细激活与工程导入指南)

从VSCode迁移到Segger Embedded Studio:HPM6750 RISC-V开发实战指南 在嵌入式开发领域,工具链的选择往往直接影响开发效率和调试体验。对于HPM6750这类高性能RISC-V芯片的开发,许多工程师最初会尝试使用VSCode这类通用编辑器配合插件搭建环境…...

Kratos MCP:为AI编程助手构建持久化项目记忆库的实践指南

1. 项目概述:告别重复解释,让AI拥有持久记忆如果你和我一样,深度依赖Claude、Cursor这类AI编程助手来构建项目,那你一定经历过这个令人沮丧的循环:昨天你花了半小时向AI详细解释了整个项目的架构设计、核心模块的交互逻…...

成为全栈Web开发者:API设计与文档编写终极指南

成为全栈Web开发者:API设计与文档编写终极指南 【免费下载链接】Become-A-Full-Stack-Web-Developer Free resources for learning Full Stack Web Development 项目地址: https://gitcode.com/gh_mirrors/be/Become-A-Full-Stack-Web-Developer 全栈Web开发…...

基于Next.js 14的现代化前端脚手架:从技术选型到项目实战

1. 项目概述:一个基于 Next.js 的现代化前端开发起点 最近在折腾一个前端项目,想找一个既现代又开箱即用的开发起点。市面上模板很多,但要么太臃肿,集成了太多我用不上的东西;要么又太简陋,连基本的代码规…...

gh_mirrors/in/invoice错误排查手册:常见问题与解决方案大全

gh_mirrors/in/invoice错误排查手册:常见问题与解决方案大全 【免费下载链接】invoice Collaboration with wangxupeng(https://github.com/wangxupeng) 项目地址: https://gitcode.com/gh_mirrors/in/invoice gh_mirrors/in/invoice是一款专注于发票识别的开…...

TinyConsole自定义主题教程:打造个性化iOS调试控制台

TinyConsole自定义主题教程:打造个性化iOS调试控制台 【免费下载链接】TinyConsole 📱💬🚦 TinyConsole is a micro-console that can help you log and display information inside an iOS application, where having a connecti…...

告别手动统计!用Python+飞书机器人自动推送Jira Bug日报(附完整代码)

告别手动统计!用Python飞书机器人自动推送Jira Bug日报(附完整代码) 每天下午5点,测试团队的张工都会准时打开Jira,开始他雷打不动的"数据搬运"工作:查询各类Bug状态、复制到Excel、整理格式、截…...

Vue3.0 简单商城—路由和index页面编写

上一个章节&#xff0c;简单编写了header组件&#xff1a;Vue3.0 简单商城—Header组件的编写 这篇文章简单介绍一下路由和index页面编写 1.index页面编写 我们创建一个index文件&#xff0c;代码参考下面 <template><div>这是index文件</div> </temp…...

基于Vue 3与TypeScript构建私有化ChatGPT Web客户端:从部署到二次开发全指南

1. 项目概述与核心价值最近在折腾一个基于Web的ChatGPT对话界面项目&#xff0c;叫“Akuma1tko/ChatGPTwebV15”。这名字听起来有点二次元&#xff0c;但本质上是一个开源的、可以让你自己部署的ChatGPT网页客户端。简单来说&#xff0c;它就是一个“壳子”&#xff0c;让你能通…...

Llama-3.2V-11B-cot实操手册:浏览器端响应式布局适配要点

Llama-3.2V-11B-cot实操手册&#xff1a;浏览器端响应式布局适配要点 1. 工具概览 Llama-3.2V-11B-cot是基于Meta多模态大模型开发的高性能视觉推理工具&#xff0c;专为双卡4090环境优化。该工具通过Streamlit构建了现代化的交互界面&#xff0c;支持Chain of Thought(CoT)逻…...

MoviePilot TMDB连接异常:3层技术诊断与架构优化方案

MoviePilot TMDB连接异常&#xff1a;3层技术诊断与架构优化方案 【免费下载链接】MoviePilot NAS媒体库自动化管理工具 项目地址: https://gitcode.com/gh_mirrors/mo/MoviePilot MoviePilot作为NAS媒体库自动化管理工具&#xff0c;在v2.3.6至v2.3.8版本中出现了TheMo…...

SHL英文测试-Verbal Reasoning (言语推理)

SHL英文测试-Verbal Reasoning &#xff08;言语推理&#xff09;...

基于RPA与ChatGPT的智能求职自动化系统设计与实现

1. 项目概述与核心价值最近在技术社区里&#xff0c;看到不少朋友在讨论一个叫auto_job__find__chatgpt__rpa的项目。光看这个标题&#xff0c;就挺有意思的&#xff0c;它把“找工作”、“ChatGPT”和“RPA”这三个看似不搭界的东西拧在了一起。作为一个在自动化领域摸爬滚打多…...