当前位置： 首页 > news >正文

TiDB Server

news 2026/2/8 15:27:58

文章目录

    • TiDB Server架构
    • TiDB Server作用
    • TiDB Server的进程
      • SQL语句的解析和编译
      • SQL读写相关模块
      • 在线DDL相关模块
      • GC机制与相关模块
    • TiDB Server的缓存
      • 热点小表缓存

TiDB Server架构

在这里插入图片描述
Protocol Layer、Parse、Compile负责sql语句的解析编译和优化，然后生成sql语句执行计划交给Executor

Executor、DistSQL和KV负责分批的执行sql的执行计划

Transaction和KV负责和事务相关的

PD Client和TiKV Client负责与PD TiKV之间的交互

schema load、worker、start job实现DDL语句不会阻塞读写

TiDB Server作用

  • 处理客户端的连接（由Protocol Layer完成）
  • SQL语句的解析和编译（由Parse、Compile完成）
  • 关系型数据与KV的转化
  • SQL语句的执行
  • Online DDL的执行
  • 垃圾回收
  • 热点小表缓存 V6.0（由cache table实现）

TiDB Server的进程

SQL语句的解析和编译

在这里插入图片描述
生成树形结构，称为AST抽象语法树
在这里插入图片描述

表结构转化为KV的过程

聚簇表：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

SQL读写相关模块

在这里插入图片描述
执行计划执行的时候分为两种：

  • 比较复杂的SQL：比如范围查询、表连接、相关的嵌套查询等等，为了避免这些复杂的sql和下面的TiKV存取相关进行耦合度太高，抽象出一个接口DistSQL模块，它负责把对于TiKV的请求封装起来，提供一个简单的select方法，因此不管是什么负责的SLQ经过DistSQL都会变成单表的计算任务
  • 点查：走KV模块，简单的获取单行数据的请求，例如根据主键或者唯一索引的等值查询等等都是由KV来实现的

在线DDL相关模块

在这里插入图片描述
在进行DDL的时候是不会阻塞读写的，在整个集群中会有多个TiDB Server，对于整个TiDB数据库来讲，同一时刻只能有一个TiDB Server进行DDL操作，同一时刻只有一个TiDB Server中的worker可以做操作

用户发送一个DDL语句，首先由start job接收，然后会把它作为一个job放在任务队列中，同一时间只有一个Server在执行，称之为owner，owner中的workers负责从队列中取第一个执行，执行完放在历史队列，然后去取下一个

每一个Server都有一个任期，超出时间段就会重新发起选举，可能会有一个新的owner

schema load用于在当前TiDB Server成为onwer角色之后，会将最新的所有表的信息同步到内部的缓存之中

GC机制与相关模块

在这里插入图片描述
定期清理历史版本

会有一个 TiDB Server会被选为GC leader，由它控制整个GC，会计算出一个时间戳safe point，这个时间以前的数据会被回收

TiDB Server的缓存

  • TiDB Server缓存的组成

    • SQL结果
    • 线程缓存
    • 元数据，统计信息

  • TiDB Server缓存管理

    • tidb_mem_quota_query：控制每条SQL语句能够默认使用的存储量
    • oom-action：如果SQL的内存使用超过上面设置的tidb_mem_quota_query之后，它是中断这条SQL，返回error，还是记录日志等等行为

热点小表缓存

在这里插入图片描述

  • 表的数据量不大
  • 只读表或者修改不频繁的表
  • 表的访问很频繁

在这里插入图片描述

表的大小不能超过64M

放进去之后为了保证读写一致，设置了一个参数tidb_table_cache_lease，也就是租约，默认5s

在这里插入图片描述
在这5s之内用户可以直接读这张表，租约时间内，无法进行写操作

在这里插入图片描述
租约到期后，这张小表就过期了，这个时候就可以直接去写TiKV，这个时候从TiKV中读取

在这里插入图片描述

数据更新完毕，租约继续开启

相关文章：

TiDB Server

文章目录TiDB Server架构TiDB Server作用TiDB Server的进程SQL语句的解析和编译SQL读写相关模块在线DDL相关模块GC机制与相关模块TiDB Server的缓存热点小表缓存TiDB Server架构 Protocol Layer、Parse、Compile负责sql语句的解析编译和优化，然后生成sql语句执行计划…...

编程日记 2023/3/10 5:25:42

S3C2440移植Linux4.19.275内核以及过程中遇到的问题

目录 1 问题一：内核移植时MTD分区问题 2 问题二：uboot的MTDPARTS_DEFAULT定义的MTD分区，bootargs中的文件系统分区，内核的mtd_partition smdk_default_nand_part定义的分区，三者要对应起来 3 问题三：ubo…...

编程日记 2023/3/10 5:24:39

解忧杂货铺（二）：UML时序图

目录 1、概述 2、UML时序图 2.1、什么是时序图 2.2、时序图的元素 2.2.1 角色(Actor) 2.2.2 对象(Object) 2.2.3 生命线(LifeLine) 2.2.4 控制焦点(Activation) 2.2.5 消息(Message) 2.2.6 自关联消息 2.2.7 组合片段 1、概述 在看AUTOSAR规范的时候发现时序图里面的…...

编程日记 2023/3/10 5:23:33

微信小程序的代码由哪些结构组成？

小程序官方建议把所有小程序的页面，都存放在pages 目录中，以单独的文件夹存在，如图所示： 其中，每个页面由4 个基本文件组成，它们分别是：js文件(页面的脚本文件，存放页面的数据、事件…...

编程日记 2023/3/10 5:22:30

Cloud Kernel SIG月度动态：发布 ANCK 新版本及 Plugsched v1.2.0

Cloud Kernel SIG（Special Interest Group）：支撑龙蜥内核版本的研发、发布和服务，提供生产可用的高性价比内核产品。 01 2 月 SIG 整体进展 发布 ANCK 4.19.91-27.1 版本。 发布 ANCK 5.10.134-13.1 版本。 调度器热升级相关事…...

编程日记 2023/3/10 5:21:26

Jedis 使用详解（官方原版）

一、配置 Maven 依赖项Jedis也通过Sonatype作为Maven Dependency 分发。要配置它&#xff0c;只需将以下 XML 代码段添加到您的 pom.xml 文件中。<dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>2.…...

编程日记 2023/3/10 5:20:22

关于Pytorch中的张量学习

关于Pytorch中的张量学习 张量的概念和创建 张量的概念 Tensor是pytorch中非常重要且常见的数据结构&#xff0c;相较于numpy数组&#xff0c;Tensor能加载到GPU中&#xff0c;从而有效地利用GPU进行加速计算。但是普通的Tensor对于构建神经网络还远远不够&#xff0c;我们需…...

编程日记 2023/3/10 5:19:16

基于Transformer的目标检测算法学习记录

前言 本文主要通过阅读相关论文了解当前Transformer在目标检测领域的应用与发展。 谷歌在 ICLR2020 上提出的 ViT&#xff08;Vision Transformer&#xff09;是将 Transformer 应用在视觉领域的先驱。从此&#xff0c;打开了Transformer进入CV领域的桥梁&#xff0c;NLP与CV几…...

编程日记 2023/3/10 5:18:11

嵌入式学习笔记——使用寄存器编程实现按键输入功能

文章目录前言模块介绍原理图编程思路前言 昨天&#xff0c;通过配置通用输出模式&#xff0c;实现了LED灯的点亮、熄灭以及流水等操作&#xff0c;解决了通用输出的问题&#xff0c;今天我们再借用最常见的输入模块&#xff0c;按键来实现一个按键控制LED的功能&#xff0c;重…...

编程日记 2023/3/10 5:17:08

打卡小达人之路：Spring Boot与Redis GEO实现商户附近查询

在当今社会&#xff0c;定位服务已经成为了各种应用的重要组成部分&#xff0c;比如地图、打车、美食等应用。如何在应用中实现高效的附近商户搜索功能呢&#xff1f;传统的做法是将商户的经纬度信息存储在关系型数据库中&#xff0c;然后使用SQL查询语句实现附近商户搜索功能。…...

编程日记 2023/3/10 5:16:04

Apache HTTP Server ＜2.4.56 mod_proxy_uwsgi 模块存在请求走私漏洞（CVE-2023-27522）

漏洞描述 Apache HTTP Server 是一个Web服务器软件。 该项目受影响版本存在请求走私漏洞。由于mod_proxy_uwsgi.c 中uwsgi_response方法对于源响应头缺少检查&#xff0c;当apache启用mod_proxy_uwsgi后&#xff0c;攻击者可利用过长的源响应头等迫使应转发到客户端的响应被截…...

编程日记 2023/3/10 5:15:01

JUC并发编程设计模式

一、保护性暂停 1.1 定义 即Guarded Suspension,用在一个线程等待另一 个线程的执行结果 要点 ● 有一个结果需要从一个线程传递到另一 个线程&#xff0c;让他们关联同一一个GuardedObject ● 如果有结果不断从一个线程到另一个线程那么可以使用消息队列&#xff08;生产者…...

编程日记 2023/3/10 5:13:57

HTTPS加密解析

日升时奋斗&#xff0c;日落时自省 目录 1、加密解释 2、对称加密 3、非对称加密 4、证书 HTTPS&#xff08;HyperText Transfer Protocol over Secure Socket Layer&#xff09;也是一个应用层协议&#xff0c;是在HTTP协议的基础上引入了一个加密层 HTTP协议内容都是按…...

编程日记 2023/3/10 5:12:55

Python每日一练(20230309)

目录 1. 删除有序数组中的重复项 ★ 2. 二叉树的最小深度 ★★ 3. 只出现一次的数字 II ★★ &#x1f31f; 每日一练刷题专栏 C/C 每日一练 ​专栏 Python 每日一练 专栏 1. 删除有序数组中的重复项 给你一个有序数组 nums &#xff0c;请你原地删除重复出现的元素…...

编程日记 2023/3/10 5:11:53

哈希表题目：数组的度

文章目录题目标题和出处难度题目描述要求示例数据范围解法思路和算法代码复杂度分析题目 标题和出处 标题&#xff1a;数组的度 出处&#xff1a;697. 数组的度 难度 4 级 题目描述 要求 给定一个非空且只包含非负数的整数数组 nums\texttt{nums}nums&#xff0c;数组的…...

编程日记 2023/3/10 5:10:51

初识rollup 打包、配置vue脚手架

rollup javascript 代码打包器&#xff0c;它使用了 es6 新标准代码模块格式。 特点&#xff1a; 面向未来&#xff0c;拥抱 es 新标准&#xff0c;支持标准化模块导入、导出等新语法。tree shaking 静态分析导入的代码。排除未实际引用的内容兼容现有的 commonJS 模块&#…...

编程日记 2023/3/10 5:09:48

软考网络工程师证书有用吗？

当然有用&#xff0c;但是拿到网络工程师证书的前提是对你自己今后的职业发展有帮助&#xff0c;用得到才能对你而言发挥它最大的好处。软考证书的具体用处&#xff1a;1.纳入我国高校人才培养和教学体系目前&#xff0c;软考已经被纳入高校人才培养和教学体系。在很多高校中&a…...

编程日记 2023/3/10 5:08:42

postgresql 自动备份 bat实现

postgres数据据备分，用cmd命令有些烦，写了个bat实现 BAT脚本中常用的注释命令有rem、@rem和:: rem、@rem和::用法都很简单，直接在命令后加上要注释的语句即可。例如下图，语言前加了rem，运行BAT时就会自动忽略这个句子。需要注释多行时，每行前面都要加上rem、@rem和::。…...

编程日记 2023/3/10 5:07:38

gdb：在命令行中会莫名暂停；detach-on-fork

这个没有捕获到断点的原因是，可能是多线程的问题，需要设置： set detach-on-fork off On Linux, if you want to debug both the parent and child processes, use the command: set detach-on-fork on/off on 默认设置，gdb会放弃子线程（或者父线程，受follow-fork-mode的…...

编程日记 2023/3/10 5:06:36

【3.9】RedisAOF日志、字符串、操作系统进程管理

4. 进程管理 进程、线程基础知识 什么是进程 我们编写的代码只是一个存储在硬盘的静态文件&#xff0c;通过编译后就会生成二进制可执行文件&#xff0c;当我们运行这个可执行文件后&#xff0c;它会被装载到内存中&#xff0c;接着 CPU 会执行程序中的每一条指令&#xff0c;…...

编程日记 2023/3/10 5:05:32

调用支付宝接口响应40004 SYSTEM_ERROR问题排查

在对接支付宝API的时候&#xff0c;遇到了一些问题&#xff0c;记录一下排查过程。 Body:{"datadigital_fincloud_generalsaas_face_certify_initialize_response":{"msg":"Business Failed","code":"40004","sub_msg…...

编程新知 2026/2/4 16:30:39

R语言AI模型部署方案：精准离线运行详解

R语言AI模型部署方案：精准离线运行详解 一、项目概述 本文将构建一个完整的R语言AI部署解决方案，实现鸢尾花分类模型的训练、保存、离线部署和预测功能。核心特点： 100%离线运行能力自包含环境依赖生产级错误处理跨平台兼容性模型版本管理# 文件结构说明 Iris_AI_Deployme…...

编程新知 2025/12/6 1:56:35

解决本地部署 SmolVLM2 大语言模型运行 flash-attn 报错

出现的问题 安装 flash-attn 会一直卡在 build 那一步或者运行报错 解决办法 是因为你安装的 flash-attn 版本没有对应上&#xff0c;所以报错&#xff0c;到 https://github.com/Dao-AILab/flash-attention/releases 下载对应版本&#xff0c;cu、torch、cp 的版本一定要对…...

编程新知 2025/11/3 2:11:24

EtherNet/IP转DeviceNet协议网关详解

一&#xff0c;设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络&#xff0c;本网关连接到EtherNet/IP总线中做为从站使用&#xff0c;连接到DeviceNet总线中做为从站使用。 在自动…...

编程新知 2026/1/31 6:53:51

MySQL中【正则表达式】用法

MySQL 中正则表达式通过 REGEXP 或 RLIKE 操作符实现&#xff08;两者等价&#xff09;&#xff0c;用于在 WHERE 子句中进行复杂的字符串模式匹配。以下是核心用法和示例&#xff1a; 一、基础语法 SELECT column_name FROM table_name WHERE column_name REGEXP pattern; …...

编程新知 2025/11/21 22:02:37

根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：

根据万维钢精英日课6的内容&#xff0c;使用AI&#xff08;2025&#xff09;可以参考以下方法&#xff1a; 四个洞见 模型已经比人聪明&#xff1a;以ChatGPT o3为代表的AI非常强大&#xff0c;能运用高级理论解释道理、引用最新学术论文&#xff0c;生成对顶尖科学家都有用的…...

编程新知 2026/1/10 1:08:51

OpenLayers 分屏对比(地图联动)

注&#xff1a;当前使用的是 ol 5.3.0 版本&#xff0c;天地图使用的key请到天地图官网申请&#xff0c;并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能&#xff0c;和卷帘图层不一样的是&#xff0c;分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...

编程新知 2025/12/25 18:22:43

Angular微前端架构：Module Federation + ngx-build-plus (Webpack)

以下是一个完整的 Angular 微前端示例&#xff0c;其中使用的是 Module Federation 和 npx-build-plus 实现了主应用&#xff08;Shell&#xff09;与子应用&#xff08;Remote&#xff09;的集成。 &#x1f6e0;️ 项目结构 angular-mf/ ├── shell-app/ # 主应用&…...

编程新知 2025/12/3 10:52:37

Hive 存储格式深度解析：从 TextFile 到 ORC，如何选对数据存储方案？

在大数据处理领域&#xff0c;Hive 作为 Hadoop 生态中重要的数据仓库工具&#xff0c;其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式&#xff0c;很多开发者常常陷入选择困境。本文将从底…...

编程新知 2025/12/6 10:54:35

LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》

这段 Python 代码是一个完整的 知识库数据库操作模块&#xff0c;用于对本地知识库系统中的知识库进行增删改查&#xff08;CRUD&#xff09;操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 &#x1f4d8; 一、整体功能概述 该模块…...

编程新知 2025/11/26 18:23:29