063、故障处理之快速恢复数据
数据丢失快速恢复的重要性
目的：尽快修复数据，恢复业务
快速恢复相关技术对比
常用备份恢复技术
数据快速恢复原理
MVCC 是TiDB数据库原生的一项功能，默认使用无需配置，它使用多个历史快照的方式来维护数据在某个时间点对并发访问的一致性。
数据恢复前置条件 - GC
SET GLOBAL tidb_gc_life_time = "60m"
-- 查询GC已经清理的时间点
select * from mysql.tidb where variable_name='tikv_gc_safe_point'
数据快速恢复操作方式
- dml方式
- tidb_snapshot 参数
- ddl方式
- flashback table ;
- recover table
- dml + ddl 方式
- dumpling 工具
设置tidb_snapshot 参数来读取历史数据
步骤一： 查看历史数据
set @@tidb_snapshot=‘2020-10-10 10:10:10’
步骤二： 对检索的目标结果进行二次处理，应用到目标业务表
flashback table
- 查询ddl操作时间戳
admin show ddl jobs
- 设置tidb_snapshot
set @@tidb_snapshot='yyyy-mm-dd hh24:mi:ss'
- 执行flashback 命令恢复数据
flashback table target_table_name [TO new_table_name]
recover table
- 适用于drop 操作
recover table table_name;
dumpling – snapshot
- 确认目标数据恢复的时间戳
- dumpling 备份目标数据历史记录
dumpling -h 172.xx.xx.xx -P 4000 -uroot -p -t 32 -F 64MiB -B target_db --snapshot 'yyyy-mm-dd hh24:mi:ss' -o /tmp/xx
- Lighting 导入数据
实验
通过设置tidb_snapshot 参数来读取历史数据后进行恢复
1、建表造数
mysql> create table snap_tab(c int);
Query OK, 0 rows affected (0.19 sec)mysql> insert into snap_tab values(1),(2),(3);
Query OK, 3 rows affected (0.03 sec)
Records: 3 Duplicates: 0 Warnings: 0mysql> select * from snap_tab;
+------+
| c |
+------+
| 1 |
| 2 |
| 3 |
+------+
3 rows in set (0.01 sec)
2、查看当前时间
mysql> select now();
+---------------------+
| now() |
+---------------------+
| 2023-07-16 18:36:20 |
+---------------------+
1 row in set (0.01 sec)
3、修改数据
mysql> update snap_tab set c=22 where c=2;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1 Changed: 1 Warnings: 0mysql> select * from snap_tab;
+------+
| c |
+------+
| 1 |
| 22 |
| 3 |
+------+
3 rows in set (0.00 sec)
4、查看gc是否满足要求
查看当前gc的还原点
mysql> select * from mysql.tidb where variable_name = 'tikv_gc_safe_point';
+--------------------+-------------------------+--------------------------------------------------------------+
| VARIABLE_NAME | VARIABLE_VALUE | COMMENT |
+--------------------+-------------------------+--------------------------------------------------------------+
| tikv_gc_safe_point | 20230716-08:58:06 -0400 | All versions after safe point can be accessed. (DO NOT EDIT) |
+--------------------+-------------------------+--------------------------------------------------------------+
1 row in set (0.00 sec)
可以调整gc的范围，放置数据被覆盖
mysql> update mysql.tidb set variable_value='72h' where variable_name='tikv_gc_life_time';
Query OK, 1 row affected (0.01 sec)
Rows matched: 1 Changed: 1 Warnings: 0
5、恢复数据
设置恢复的数据时间点
mysql> set @@tidb_snapshot='2023-07-16 18:36:20';
Query OK, 0 rows affected (0.00 sec)mysql> select * from snap_tab;
+------+
| c |
+------+
| 1 |
| 2 |
| 3 |
+------+
3 rows in set (0.00 sec)
6、清空tidb_snapshot,查看当前时间点
mysql> set @@tidb_snapshot='';
Query OK, 0 rows affected (0.00 sec)mysql> select * from snap_tab;
+------+
| c |
+------+
| 1 |
| 22 |
| 3 |
+------+
3 rows in set (0.01 sec)mysql> select * from mysql.tidb where variable_name='tikv_gc_life_time';
+-------------------+----------------+----------------------------------------------------------------------------------------+
| VARIABLE_NAME | VARIABLE_VALUE | COMMENT |
+-------------------+----------------+----------------------------------------------------------------------------------------+
| tikv_gc_life_time | 72h | All versions within life time will not be collected by GC, at least 10m, in Go format. |
+-------------------+----------------+----------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
恢复被Truncate的表
通过设置tidb_snapshot参数来读取历史数据，并用dumpling --snapshot和flashback table恢复被多次truncate 的数据。
1、造数
为了实验效果，多次插入数据和多次截断
mysql> create table trun_tab(c int);
Query OK, 0 rows affected (0.51 sec)mysql>
mysql> insert into trun_tab values(1),(2),(3);
Query OK, 3 rows affected (0.11 sec)
Records: 3 Duplicates: 0 Warnings: 0mysql> select * from trun_tab;
+------+
| c |
+------+
| 1 |
| 2 |
| 3 |
+------+
3 rows in set (0.01 sec)mysql> truncate table trn_tab;
ERROR 1146 (42S02): Table 'test.trn_tab' doesn't exist
mysql> truncate table trun_tab;
Query OK, 0 rows affected (0.84 sec)mysql> select * from trun_tab;
Empty set (0.13 sec)mysql> insert into trun_tab values(4),(5),(6);
Query OK, 3 rows affected (0.33 sec)
Records: 3 Duplicates: 0 Warnings: 0mysql> select * from trun_tab;
+------+
| c |
+------+
| 4 |
| 5 |
| 6 |
+------+
3 rows in set (0.01 sec)mysql> truncate table trun_tab;
Query OK, 0 rows affected (0.63 sec)mysql> insert into trun_tab values(7),(8),(9);
Query OK, 3 rows affected (0.10 sec)
Records: 3 Duplicates: 0 Warnings: 0mysql> select * from trun_tab;
+------+
| c |
+------+
| 7 |
| 8 |
| 9 |
+------+
3 rows in set (0.01 sec)
2、确认是否满足GC要求
通过admin show ddl jobs 查看两次Truncate操作发生的时间
mysql> admin show ddl jobs;
+--------+---------+------------+----------------+--------------+-----------+----------+-----------+---------------------+---------------------+---------------------+--------+
| JOB_ID | DB_NAME | TABLE_NAME | JOB_TYPE | SCHEMA_STATE | SCHEMA_ID | TABLE_ID | ROW_COUNT | CREATE_TIME | START_TIME | END_TIME | STATE |
+--------+---------+------------+----------------+--------------+-----------+----------+-----------+---------------------+---------------------+---------------------+--------+
| 119 | test | trun_tab | truncate table | public | 1 | 116 | 0 | 2023-07-16 18:50:52 | 2023-07-16 18:50:52 | 2023-07-16 18:50:52 | synced |
| 117 | test | trun_tab | truncate table | public | 1 | 114 | 0 | 2023-07-16 18:50:17 | 2023-07-16 18:50:17 | 2023-07-16 18:50:18 | synced |
| 115 | test | trun_tab | create table | public | 1 | 114 | 0 | 2023-07-16 18:49:16 | 2023-07-16 18:49:16 | 2023-07-16 18:49:17 | synced |
| 113 | test | snap_tab | create table | public | 1 | 112 | 0 | 2023-07-16 18:35:50 | 2023-07-16 18:35:50 | 2023-07-16 18:35:50 | synced |
| 111 | test | t1 | add index | public | 1 | 107 | 10000 | 2023-07-09 04:14:28 | 2023-07-09 04:14:28 | 2023-07-09 04:14:32 | synced |
| 110 | test | t1 | drop index | none | 1 | 107 | 0 | 2023-07-09 04:14:12 | 2023-07-09 04:14:12 | 2023-07-09 04:14:12 | synced |
| 109 | test | t1 | add index | public | 1 | 107 | 10000 | 2023-07-09 04:12:25 | 2023-07-09 04:12:25 | 2023-07-09 04:12:29 | synced |
| 108 | test | t1 | create table | public | 1 | 107 | 0 | 2023-07-09 03:56:43 | 2023-07-09 03:56:43 | 2023-07-09 03:56:43 | synced |
| 106 | test | t3 | create table | public | 1 | 105 | 0 | 2023-07-09 03:41:32 | 2023-07-09 03:49:20 | 2023-07-09 03:49:20 | synced |
| 104 | test | t1 | drop table | none | 1 | 99 | 0 | 2023-07-09 03:39:38 | 2023-07-09 03:49:20 | 2023-07-09 03:49:20 | synced |
+--------+---------+------------+----------------+--------------+-----------+----------+-----------+---------------------+---------------------+---------------------+--------+
10 rows in set (0.25 sec)
可以调整gc interval time，避免数据的mvcc历史版本清理掉，避免数据恢复
mysql> update mysql.tidb set variable_value='72h' where variable_name='tikv_gc_life_time';
Query OK, 0 rows affected (0.00 sec)
Rows matched: 1 Changed: 0 Warnings: 0
mysql> set session tidb_snapshot=“2023-07-16 18:50:16”;
Query OK, 0 rows affected (0.00 sec)
mysql> select * from trun_tab;
±-----+
| c |
±-----+
| 1 |
| 2 |
| 3 |
±-----+
3 rows in set (0.00 sec)
mysql> exit
3、开始恢复数据
mysql> set session tidb_snapshot="2023-07-16 18:50:16";
Query OK, 0 rows affected (0.00 sec)mysql> select * from trun_tab;
+------+
| c |
+------+
| 1 |
| 2 |
| 3 |
+------+
3 rows in set (0.00 sec)
恢复第一次Truncate的数据
mysql> flashback table trun_tab to trun_tab_01;
ERROR 1105 (HY000): can not execute write statement when 'tidb_snapshot' is set
因为flashback 语句无法与set tidb_snapshot一起使用。
tiup dumpling -uroot -P4000 -h192.168.16.13 -pAa123ab! --filetype sql -o /tmp/test -r 200000 -F 256MiB -T test.trun_tab --snapshot "2023-07-16 18:50:16"
[root@tidb2 ~]# more /tmp/test/test.trun_tab
test.trun_tab.0000000010000.sql
test.trun_tab-schema.sql
[root@tidb2 ~]# more /tmp/test/test.trun_tab.0000000010000.sql
/*!40014 SET FOREIGN_KEY_CHECKS=0*/;
/*!40101 SET NAMES binary*/;
INSERT INTO `trun_tab` VALUES
(1),
(2),
(3);
mysql> source /tmp/test/test.trun_tab.0000000010000.sql
Query OK, 0 rows affected (0.00 sec)Query OK, 0 rows affected (0.01 sec)Query OK, 3 rows affected (0.01 sec)
Records: 3 Duplicates: 0 Warnings: 0
mysql> select * from trun_tab;
+------+
| c |
+------+
| 7 |
| 8 |
| 9 |
| 1 |
| 2 |
| 3 |
+------+
6 rows in set (0.01 sec)
6、恢复第二次Truncat的数据
mysql> flashback table trun_tab to trun_tab_02;
Query OK, 0 rows affected (0.31 sec)mysql> select * from trun_tab_02;
+------+
| c |
+------+
| 4 |
| 5 |
| 6 |
+------+
3 rows in set (0.01 sec)mysql> insert trun_tab select * from trun_tab_02;
Query OK, 3 rows affected (0.02 sec)
Records: 3 Duplicates: 0 Warnings: 0mysql> select * from trun_tab;
+------+
| c |
+------+
| 7 |
| 8 |
| 9 |
| 1 |
| 2 |
| 3 |
| 4 |
| 5 |
| 6 |
+------+
9 rows in set (0.00 sec)mysql>
相关文章：
063、故障处理之快速恢复数据
数据丢失快速恢复的重要性 目的：尽快修复数据，恢复业务 快速恢复相关技术对比 常用备份恢复技术 数据快速恢复原理 MVCC 是TiDB数据库原生的一项功能，默认使用无需配置，它使用多个历史快照的方式来维护数据在某个时间点对并…...
从零开始学习CTF
前言 CTF简介 中文一般译作夺旗赛，在网络安全领域中指的是网络安全技术人员之间进行技术竞技的一种比赛形式 CTF起源于1996年DEFCON全球黑客大会，以代替之前黑客们通过互相发起真实攻击进行技术比拼的方式 竞赛模式 解题模式： 在解题模式…...
【stable diffusion】保姆级入门课程05-Stable diffusion（SD）图生图-涂鸦重绘的用法
1.什么是涂鸦重绘 涂鸦重绘又称手涂蒙版。 简单来说，局部重绘手涂蒙版 就是涂鸦局部重绘的结合体，这个功能的出现是为了解决用户不想改变整张图片的情况下，对多个元素进行修改。 功能支持： 1.支持蒙版功能 2.笔刷决定绘制的元素…...
HBase 源码编译部署包
1. 版本 Java 版本: 1.8.0_201 HBase 版本: hbase-2.5.5 2.打包 git clone https://github.com/apache/hbase.git cd hbase git checkout branch-2.5 编译整个工程的 tar 包，编译一次 10 分钟左右 mvn clean package assembly:single -DskipTests ll hbase-assemb…...
备战秋招 | 笔试强训16
目录 一、选择题 二、编程题 三、选择题题解 四、编程题题解 一、选择题 1、下列一段 C 代码的输出结果是（） #include <iostream> class Base { public:int Bar(char x){return (int)(x);}virtual int Bar(int x){return (2 * x);} }; clas…...
01 Excel常用高频快捷键汇总
目录 一、简介二、快捷键介绍2.1 常用基本快捷键1 复制：CtrlC2 粘贴：CtrlV3 剪切：CtrlX4 撤销：CtrlZ5 全选：CtrlA 2.2 常用高级快捷键1 单元格内强制换行：AltEnter2 批量输入相同的内容：CtrlEnt…...
PHP Laravel 路由、中间件、数据库等例子
以下是使用Laravel框架时的一些常见示例： 1. 路由（Routes）： // 定义基本路由 Route::get(/home, HomeControllerindex); // 带有参数的路由 Route::get(/user/{id}, UserControllershow); // 路由组 Route::middleware([auth])-&…...
Unity小游戏——使被砍中的怪物四处飞散
被武士砍中后，怪物将向四面八方飞散。 动作的不同将导致攻击力度的强弱表现不同，被攻击的各个对象的反应也有很大差异。在格斗游戏中，对对手一顿拳打脚踢后，看到其步履蹒跚的样子，往往可以感受到他的疼痛。相反如果对…...
hive之文件格式与压缩
hive文件格式： 概述： 为Hive表中的数据选择一个合适的文件格式，对提高查询性能的提高是十分有益的。Hive表数据的存储格式，可以选择text file、orc、parquet、sequence file等。 文本文件： 文本文件就是txt文件&…...
云原生容器内的一次pg_repack排错和解决过程
postgresql的pg_repack 这个cronjob一直执行不了。 排错过程: 用命令 kubectl describe job pg-repack-scheduler-manual-wv82r -n xxx没有查看用有用信息想办法进它启动的pod查看，于是在执行pg_repack.sh命令前，先加一个睡眠时间，如下: - …...
Centos Certbot 使用
安装 可选配置：启动EPEL存储库 非必要项 yum install -y epel-release yum clean all yum makecache #启用可选通道 可以不配置 yum -y install yum-utils yum-config-manager --enable rhui-REGION-rhel-server-extras rhui-REGION-rhel-server-optional必要配置…...
VL163的基本信息
VL163是2:4差分通道多路复用/demux开关USB 3.1应用，为交换机信号性能支持高达USB 3.1，并使用QFN-28 3.5x4.5mm绿色封装。 VL163 QFN28 只能处理2Lane数据信号。自己没有CC识别沟通协议，如果要做USB-C Swtich，就要通过别的USB-C协…...
IntelliJ IDEA 2023.2 新版本，拥抱 AI
IntelliJ IDEA 近期连续发布多个EAP版本，官方在对用户体验不断优化的同时，也新增了一些不错的功能，尤其是人工智能助手补充，AI Assistant，相信在后续IDEA使用中，会对开发者工作效率带来不错的提升。 以下是…...
softmax回归
模型 softmax回归是多类分类模型，用于获取每个分类的置信度，置信度计算方式如下 经过全连接层，得到输出O，将O作为softmax的输入 O是输出向量，每个分量表示一个类别，y_hat_i表示i类别的置信度࿰…...
.NET 8 Preview 5推出！
作者：Jiachen Jiang 排版：Alan Wang 我们很高兴与您分享 .NET 8 Preview 5 中的所有新功能和改进！此版本是 Preview 4 版本的后续版本。在每月发布的版本中，您将看到更多新功能。.NET 6 和 7 用户可以密切关注此版本，而…...
Spring核心概念、IoC和DI的认识、Spring中bean的配置及实例化、bean的生命周期
初始Spring 一、Spring核心概念1.1IoC(Inversion of Contral)：控制反转1.2IoC代码实现1.2DI代码实现 二、bean的相关操作2.1bean的配置2.1.1bean的基础配置2.1.2bean的别名配置2.1.3bean的作用范围配置 2.2bean的实例化 - - 构造方法2.3bean的实例化 - - 实例工厂与…...
git冲突“accept theirs”和“accept yours”
Accept Yours 就是直接选取本地的代码，覆盖掉远程仓库的 Accept Theirs 是直接选取远程仓库的，覆盖掉自己本地的 我们选择Merge,自己手动行进选择、修改。 这里左边部分是你本地仓库的代码，右边部分是远程仓库的代码，中间的res…...
Vision Transformer (ViT)
生成式模型与判别式模型 生成式模型，又称概率模型，是指通过学习数据的分布来建立模型P(y|x)，然后利用该模型来生成新的数据。生成式模型的典型代表是朴素贝叶斯模型，该模型通过学习数据的分布来建立概率模型，然后利用该模型来生成新的数据。判别式模型，又称非概率模型，…...
OpenGL Metal Shader 编程：解决图片拉伸变形问题
前面发了一些关于 Shader 编程的文章，有读者反馈太碎片化了，希望这里能整理出来一个系列，方便系统的学习一下 Shader 编程。 由于主流的 Shader 编程网站，如 ShaderToy, gl-transitions 都是基于 GLSL 开发 Shader ，加…...
[SQL挖掘机] - 字符串函数 - concat
介绍: concat函数用于连接字符串的函数。它接受多个字符串作为参数，并将它们按顺序连接起来形成一个新的字符串。 用法: 以下是concat函数的语法： concat(string1, string2, ...)其中，string1, string2, …是要连接的字符串参数。你可以传…...
Rust之所有权
1、所有权的概念： 程序需要管理自己在运行时使用的计算机内部空间。Rust语言采用包含特定规则的所有权系统来管理内存，这套规则允许编译器在编译的过程中执行检查工作，而不会产生任何的运行时开销。 (1)、所有权规则： Rust中的…...
RabbitMQ帮助类的封装
RabbitMQ帮助类的封装 基本部分 public class RabbitMQInvoker {#region Identy private static IConnection _CurrentConnection null;private readonly string _HostName null;private readonly string _UserName null;private readonly string _Password null;#endreg…...
mac 移动硬盘未正常退出，再次链接无法读取（显示）
（1）首先插入自己的硬盘，然后找到mac的磁盘工具 （2）打开磁盘工具，发现自己的磁盘分区在卸载状态；点击无法成功装载。 （3）打开终端，输入 diskutil list查看自…...
短视频账号矩阵系统源码开发部署路径
一、短视频批量剪辑的开发逻辑算法 1.视频剪辑之开发算法 自己研发视频剪辑是指通过对视频素材进行剪切、调整、合并等操作，利用后台计算机算法，进行抽帧抽组抽序进行排列以达到对视频内容进行修改和优化的目的。自己研发的视频剪辑工具可以通过后台码…...
前端 | （ 十一）CSS3简介及基本语法（上） | 尚硅谷前端html+css零基础教程2023最新
学习来源：尚硅谷前端htmlcss零基础教程，2023最新前端开发html5css3视频 系列笔记： 【HTML4】（一）前端简介【HTML4】（二）各种各样的常用标签【HTML4】（三）表单及HTML4收尾…...
Kafka入门到起飞系列 - 副本机制，什么是副本因子呢？
我们一直在讲一个主题会有多个分区，这多个分区可以分布在一台服务器上，也可以分布在多台服务器上，还可以增加分区（Kafka目前只支持分区），这是Kafka提供的一种横向扩展的手段 比如我们创建了一个主题&#x…...
2023年基准Kubernetes报告：6个K8s可靠性失误
云计算日益成为组织构建应用程序和服务的首选目的地。尽管一年来经济不确定性的头条新闻主要集中在通货膨胀增长和银行动荡方面，但大多数组织预计今年的云使用和支出将与计划的相同（45%），或高于计划的（45%）…...
程序员面试系列，k8s常见面试题
原文链接 一、什么是 Kubernetes？解释其主要功能和用途。 Kubernetes（通常简称为K8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它最初由谷歌开发，并于2014年捐赠给了云原生计算基金会&a…...
docker版jxTMS使用指南：站点的调整
本文讲解4.4版jxTMS中的站点的调整，整个系列的文章请查看：[docker版jxTMS使用指南：docker版jxTMS使用指南：4.4版升级内容 docker版本的使用，请查看：docker版jxTMS使用指南 4.0版jxTMS的说明，请…...
element ui input 深层循环v-model绑定默认数据删除不了的情况
例子： 在项目开发中遇到的，简单记录一下 <el-input style"width: 180px"v-model"item.dataForm"input"handleChangeDataForm($event)"type"number"placeholder"请输入1-2的数值"size"smal…...