当前位置： 首页 > news >正文

TiDB Server

news 2026/3/29 0:22:08

文章目录

    • TiDB Server架构
    • TiDB Server作用
    • TiDB Server的进程
      • SQL语句的解析和编译
      • SQL读写相关模块
      • 在线DDL相关模块
      • GC机制与相关模块
    • TiDB Server的缓存
      • 热点小表缓存

TiDB Server架构

在这里插入图片描述
Protocol Layer、Parse、Compile负责sql语句的解析编译和优化，然后生成sql语句执行计划交给Executor

Executor、DistSQL和KV负责分批的执行sql的执行计划

Transaction和KV负责和事务相关的

PD Client和TiKV Client负责与PD TiKV之间的交互

schema load、worker、start job实现DDL语句不会阻塞读写

TiDB Server作用

  • 处理客户端的连接（由Protocol Layer完成）
  • SQL语句的解析和编译（由Parse、Compile完成）
  • 关系型数据与KV的转化
  • SQL语句的执行
  • Online DDL的执行
  • 垃圾回收
  • 热点小表缓存 V6.0（由cache table实现）

TiDB Server的进程

SQL语句的解析和编译

在这里插入图片描述
生成树形结构，称为AST抽象语法树
在这里插入图片描述

表结构转化为KV的过程

聚簇表：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

SQL读写相关模块

在这里插入图片描述
执行计划执行的时候分为两种：

  • 比较复杂的SQL：比如范围查询、表连接、相关的嵌套查询等等，为了避免这些复杂的sql和下面的TiKV存取相关进行耦合度太高，抽象出一个接口DistSQL模块，它负责把对于TiKV的请求封装起来，提供一个简单的select方法，因此不管是什么负责的SLQ经过DistSQL都会变成单表的计算任务
  • 点查：走KV模块，简单的获取单行数据的请求，例如根据主键或者唯一索引的等值查询等等都是由KV来实现的

在线DDL相关模块

在这里插入图片描述
在进行DDL的时候是不会阻塞读写的，在整个集群中会有多个TiDB Server，对于整个TiDB数据库来讲，同一时刻只能有一个TiDB Server进行DDL操作，同一时刻只有一个TiDB Server中的worker可以做操作

用户发送一个DDL语句，首先由start job接收，然后会把它作为一个job放在任务队列中，同一时间只有一个Server在执行，称之为owner，owner中的workers负责从队列中取第一个执行，执行完放在历史队列，然后去取下一个

每一个Server都有一个任期，超出时间段就会重新发起选举，可能会有一个新的owner

schema load用于在当前TiDB Server成为onwer角色之后，会将最新的所有表的信息同步到内部的缓存之中

GC机制与相关模块

在这里插入图片描述
定期清理历史版本

会有一个 TiDB Server会被选为GC leader，由它控制整个GC，会计算出一个时间戳safe point，这个时间以前的数据会被回收

TiDB Server的缓存

  • TiDB Server缓存的组成

    • SQL结果
    • 线程缓存
    • 元数据，统计信息

  • TiDB Server缓存管理

    • tidb_mem_quota_query：控制每条SQL语句能够默认使用的存储量
    • oom-action：如果SQL的内存使用超过上面设置的tidb_mem_quota_query之后，它是中断这条SQL，返回error，还是记录日志等等行为

热点小表缓存

在这里插入图片描述

  • 表的数据量不大
  • 只读表或者修改不频繁的表
  • 表的访问很频繁

在这里插入图片描述

表的大小不能超过64M

放进去之后为了保证读写一致，设置了一个参数tidb_table_cache_lease，也就是租约，默认5s

在这里插入图片描述
在这5s之内用户可以直接读这张表，租约时间内，无法进行写操作

在这里插入图片描述
租约到期后，这张小表就过期了，这个时候就可以直接去写TiKV，这个时候从TiKV中读取

在这里插入图片描述

数据更新完毕，租约继续开启

相关文章：

TiDB Server

文章目录TiDB Server架构TiDB Server作用TiDB Server的进程SQL语句的解析和编译SQL读写相关模块在线DDL相关模块GC机制与相关模块TiDB Server的缓存热点小表缓存TiDB Server架构 Protocol Layer、Parse、Compile负责sql语句的解析编译和优化，然后生成sql语句执行计划…...

编程日记 2023/3/10 5:25:42

S3C2440移植Linux4.19.275内核以及过程中遇到的问题

目录 1 问题一：内核移植时MTD分区问题 2 问题二：uboot的MTDPARTS_DEFAULT定义的MTD分区，bootargs中的文件系统分区，内核的mtd_partition smdk_default_nand_part定义的分区，三者要对应起来 3 问题三：ubo…...

编程日记 2023/3/10 5:24:39

解忧杂货铺（二）：UML时序图

目录 1、概述 2、UML时序图 2.1、什么是时序图 2.2、时序图的元素 2.2.1 角色(Actor) 2.2.2 对象(Object) 2.2.3 生命线(LifeLine) 2.2.4 控制焦点(Activation) 2.2.5 消息(Message) 2.2.6 自关联消息 2.2.7 组合片段 1、概述 在看AUTOSAR规范的时候发现时序图里面的…...

编程日记 2023/3/10 5:23:33

微信小程序的代码由哪些结构组成？

小程序官方建议把所有小程序的页面，都存放在pages 目录中，以单独的文件夹存在，如图所示： 其中，每个页面由4 个基本文件组成，它们分别是：js文件(页面的脚本文件，存放页面的数据、事件…...

编程日记 2023/3/10 5:22:30

Cloud Kernel SIG月度动态：发布 ANCK 新版本及 Plugsched v1.2.0

Cloud Kernel SIG（Special Interest Group）：支撑龙蜥内核版本的研发、发布和服务，提供生产可用的高性价比内核产品。 01 2 月 SIG 整体进展 发布 ANCK 4.19.91-27.1 版本。 发布 ANCK 5.10.134-13.1 版本。 调度器热升级相关事…...

编程日记 2023/3/10 5:21:26

Jedis 使用详解（官方原版）

一、配置 Maven 依赖项Jedis也通过Sonatype作为Maven Dependency 分发。要配置它&#xff0c;只需将以下 XML 代码段添加到您的 pom.xml 文件中。<dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>2.…...

编程日记 2023/3/10 5:20:22

关于Pytorch中的张量学习

关于Pytorch中的张量学习 张量的概念和创建 张量的概念 Tensor是pytorch中非常重要且常见的数据结构&#xff0c;相较于numpy数组&#xff0c;Tensor能加载到GPU中&#xff0c;从而有效地利用GPU进行加速计算。但是普通的Tensor对于构建神经网络还远远不够&#xff0c;我们需…...

编程日记 2023/3/10 5:19:16

基于Transformer的目标检测算法学习记录

前言 本文主要通过阅读相关论文了解当前Transformer在目标检测领域的应用与发展。 谷歌在 ICLR2020 上提出的 ViT&#xff08;Vision Transformer&#xff09;是将 Transformer 应用在视觉领域的先驱。从此&#xff0c;打开了Transformer进入CV领域的桥梁&#xff0c;NLP与CV几…...

编程日记 2023/3/10 5:18:11

嵌入式学习笔记——使用寄存器编程实现按键输入功能

文章目录前言模块介绍原理图编程思路前言 昨天&#xff0c;通过配置通用输出模式&#xff0c;实现了LED灯的点亮、熄灭以及流水等操作&#xff0c;解决了通用输出的问题&#xff0c;今天我们再借用最常见的输入模块&#xff0c;按键来实现一个按键控制LED的功能&#xff0c;重…...

编程日记 2023/3/10 5:17:08

打卡小达人之路：Spring Boot与Redis GEO实现商户附近查询

在当今社会&#xff0c;定位服务已经成为了各种应用的重要组成部分&#xff0c;比如地图、打车、美食等应用。如何在应用中实现高效的附近商户搜索功能呢&#xff1f;传统的做法是将商户的经纬度信息存储在关系型数据库中&#xff0c;然后使用SQL查询语句实现附近商户搜索功能。…...

编程日记 2023/3/10 5:16:04

Apache HTTP Server ＜2.4.56 mod_proxy_uwsgi 模块存在请求走私漏洞（CVE-2023-27522）

漏洞描述 Apache HTTP Server 是一个Web服务器软件。 该项目受影响版本存在请求走私漏洞。由于mod_proxy_uwsgi.c 中uwsgi_response方法对于源响应头缺少检查&#xff0c;当apache启用mod_proxy_uwsgi后&#xff0c;攻击者可利用过长的源响应头等迫使应转发到客户端的响应被截…...

编程日记 2023/3/10 5:15:01

JUC并发编程设计模式

一、保护性暂停 1.1 定义 即Guarded Suspension,用在一个线程等待另一 个线程的执行结果 要点 ● 有一个结果需要从一个线程传递到另一 个线程&#xff0c;让他们关联同一一个GuardedObject ● 如果有结果不断从一个线程到另一个线程那么可以使用消息队列&#xff08;生产者…...

编程日记 2023/3/10 5:13:57

HTTPS加密解析

日升时奋斗&#xff0c;日落时自省 目录 1、加密解释 2、对称加密 3、非对称加密 4、证书 HTTPS&#xff08;HyperText Transfer Protocol over Secure Socket Layer&#xff09;也是一个应用层协议&#xff0c;是在HTTP协议的基础上引入了一个加密层 HTTP协议内容都是按…...

编程日记 2023/3/10 5:12:55

Python每日一练(20230309)

目录 1. 删除有序数组中的重复项 ★ 2. 二叉树的最小深度 ★★ 3. 只出现一次的数字 II ★★ &#x1f31f; 每日一练刷题专栏 C/C 每日一练 ​专栏 Python 每日一练 专栏 1. 删除有序数组中的重复项 给你一个有序数组 nums &#xff0c;请你原地删除重复出现的元素…...

编程日记 2023/3/10 5:11:53

哈希表题目：数组的度

文章目录题目标题和出处难度题目描述要求示例数据范围解法思路和算法代码复杂度分析题目 标题和出处 标题&#xff1a;数组的度 出处&#xff1a;697. 数组的度 难度 4 级 题目描述 要求 给定一个非空且只包含非负数的整数数组 nums\texttt{nums}nums&#xff0c;数组的…...

编程日记 2023/3/10 5:10:51

初识rollup 打包、配置vue脚手架

rollup javascript 代码打包器&#xff0c;它使用了 es6 新标准代码模块格式。 特点&#xff1a; 面向未来&#xff0c;拥抱 es 新标准&#xff0c;支持标准化模块导入、导出等新语法。tree shaking 静态分析导入的代码。排除未实际引用的内容兼容现有的 commonJS 模块&#…...

编程日记 2023/3/10 5:09:48

软考网络工程师证书有用吗？

当然有用&#xff0c;但是拿到网络工程师证书的前提是对你自己今后的职业发展有帮助&#xff0c;用得到才能对你而言发挥它最大的好处。软考证书的具体用处&#xff1a;1.纳入我国高校人才培养和教学体系目前&#xff0c;软考已经被纳入高校人才培养和教学体系。在很多高校中&a…...

编程日记 2023/3/10 5:08:42

postgresql 自动备份 bat实现

postgres数据据备分，用cmd命令有些烦，写了个bat实现 BAT脚本中常用的注释命令有rem、@rem和:: rem、@rem和::用法都很简单，直接在命令后加上要注释的语句即可。例如下图，语言前加了rem，运行BAT时就会自动忽略这个句子。需要注释多行时，每行前面都要加上rem、@rem和::。…...

编程日记 2023/3/10 5:07:38

gdb：在命令行中会莫名暂停；detach-on-fork

这个没有捕获到断点的原因是，可能是多线程的问题，需要设置： set detach-on-fork off On Linux, if you want to debug both the parent and child processes, use the command: set detach-on-fork on/off on 默认设置，gdb会放弃子线程（或者父线程，受follow-fork-mode的…...

编程日记 2023/3/10 5:06:36

【3.9】RedisAOF日志、字符串、操作系统进程管理

4. 进程管理 进程、线程基础知识 什么是进程 我们编写的代码只是一个存储在硬盘的静态文件&#xff0c;通过编译后就会生成二进制可执行文件&#xff0c;当我们运行这个可执行文件后&#xff0c;它会被装载到内存中&#xff0c;接着 CPU 会执行程序中的每一条指令&#xff0c;…...

编程日记 2023/3/10 5:05:32

如何实现微信聊天记录的终极掌控：WeChatMsg完全指南

如何实现微信聊天记录的终极掌控&#xff1a;WeChatMsg完全指南 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/WeChatM…...

编程新知 2026/3/28 23:08:22

nix-installer多平台部署实战：Linux、macOS、WSL全攻略

nix-installer多平台部署实战&#xff1a;Linux、macOS、WSL全攻略 【免费下载链接】nix-installer Install Nix and flakes with the fast and reliable Determinate Nix Installer, with over a million installs. 项目地址: https://gitcode.com/gh_mirrors/ni/nix-instal…...

编程新知 2026/3/28 22:58:20

全面解析数据库锁机制：从行锁到死锁的深度剖析

锁是数据库并发控制的核心机制&#xff0c;也是面试中绕不开的高频考点。很多开发者对锁的理解停留在“加锁就行了”&#xff0c;但遇到死锁、锁等待超时、性能骤降等问题时往往束手无策。本文将系统讲解数据库锁的分类、实现原理、锁与事务隔离级别的关系&#xff0c;并结合 M…...

编程新知 2026/3/28 22:06:02

3个秘诀让AI成为你的象棋教练：Vin象棋智能助手完全指南

3个秘诀让AI成为你的象棋教练&#xff1a;Vin象棋智能助手完全指南 【免费下载链接】VinXiangQi Xiangqi syncing tool based on Yolov5 / 基于Yolov5的中国象棋连线工具 项目地址: https://gitcode.com/gh_mirrors/vi/VinXiangQi 你是否曾遇到这样的象棋困境&#xff1…...

编程新知 2026/3/28 21:45:56

电机控制进阶：从增量式与位置式PID到现代复合控制策略

1. PID控制的前世今生&#xff1a;从工业革命到智能时代 第一次接触PID控制器时&#xff0c;我被这个诞生于上世纪30年代的"古董级"算法震惊了。当时正在调试一台伺服电机&#xff0c;系统总是出现超调和振荡。导师递给我一张写着三个参数的纸条&#xff1a;"试…...

编程新知 2026/3/28 21:43:54

API密钥中转站，低成本实现Token自由

最近很多小伙伴都在用AI开发项目 编写程序&#xff0c;或者安装部署龙虾&#xff08;OpenClaw&#xff09;&#xff0c;但是国内的模型很多又满足不了自己的要求&#xff0c;国外的模型要么是不方便购买&#xff0c;要么是价格太贵&#xff0c;每天都要消耗几十上百美元&#x…...

编程新知 2026/3/28 21:07:38

保姆级避坑指南：在openEuler 22.03 LTS上用kubeadm 1.32.2部署K8s集群（含阿里云镜像加速）

保姆级避坑指南&#xff1a;在openEuler 22.03 LTS上用kubeadm 1.32.2部署K8s集群&#xff08;含阿里云镜像加速&#xff09; 如果你正在openEuler系统上尝试部署Kubernetes集群&#xff0c;很可能已经踩过不少坑。不同于常见的CentOS或Ubuntu&#xff0c;openEuler作为国产操作…...

编程新知 2026/3/28 19:10:50

FlexASIO专业调优实战：解决音频延迟与音质问题的3步诊断法

FlexASIO专业调优实战&#xff1a;解决音频延迟与音质问题的3步诊断法 【免费下载链接】FlexASIO A flexible universal ASIO driver that uses the PortAudio sound I/O library. Supports WASAPI (shared and exclusive), KS, DirectSound and MME. 项目地址: https://gitc…...

编程新知 2026/3/28 18:22:21

Qwen3-TTS-12Hz-1.7B-VoiceDesign音色克隆效果对比

Qwen3-TTS-12Hz-1.7B-VoiceDesign音色克隆效果对比 1. 引言 语音合成技术发展到今天&#xff0c;已经不再满足于简单的文字转语音&#xff0c;而是追求更加个性化、情感化的表达。Qwen3-TTS-12Hz-1.7B-VoiceDesign作为阿里云Qwen团队推出的语音合成模型&#xff0c;最大的亮点…...

编程新知 2026/3/28 18:16:19

BilibiliDown：专业B站Hi-Res音频下载工具全攻略

BilibiliDown&#xff1a;专业B站Hi-Res音频下载工具全攻略 【免费下载链接】BilibiliDown (GUI-多平台支持) B站 哔哩哔哩 视频下载器。支持稍后再看、收藏夹、UP主视频批量下载|Bilibili Video Downloader &#x1f633; 项目地址: https://gitcode.com/gh_mirrors/bi/Bili…...

编程新知 2026/3/28 18:08:17