当前位置： 首页 > news >正文

TiDB Server

news 2026/3/28 6:04:48

文章目录

    • TiDB Server架构
    • TiDB Server作用
    • TiDB Server的进程
      • SQL语句的解析和编译
      • SQL读写相关模块
      • 在线DDL相关模块
      • GC机制与相关模块
    • TiDB Server的缓存
      • 热点小表缓存

TiDB Server架构

在这里插入图片描述
Protocol Layer、Parse、Compile负责sql语句的解析编译和优化，然后生成sql语句执行计划交给Executor

Executor、DistSQL和KV负责分批的执行sql的执行计划

Transaction和KV负责和事务相关的

PD Client和TiKV Client负责与PD TiKV之间的交互

schema load、worker、start job实现DDL语句不会阻塞读写

TiDB Server作用

  • 处理客户端的连接（由Protocol Layer完成）
  • SQL语句的解析和编译（由Parse、Compile完成）
  • 关系型数据与KV的转化
  • SQL语句的执行
  • Online DDL的执行
  • 垃圾回收
  • 热点小表缓存 V6.0（由cache table实现）

TiDB Server的进程

SQL语句的解析和编译

在这里插入图片描述
生成树形结构，称为AST抽象语法树
在这里插入图片描述

表结构转化为KV的过程

聚簇表：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

SQL读写相关模块

在这里插入图片描述
执行计划执行的时候分为两种：

  • 比较复杂的SQL：比如范围查询、表连接、相关的嵌套查询等等，为了避免这些复杂的sql和下面的TiKV存取相关进行耦合度太高，抽象出一个接口DistSQL模块，它负责把对于TiKV的请求封装起来，提供一个简单的select方法，因此不管是什么负责的SLQ经过DistSQL都会变成单表的计算任务
  • 点查：走KV模块，简单的获取单行数据的请求，例如根据主键或者唯一索引的等值查询等等都是由KV来实现的

在线DDL相关模块

在这里插入图片描述
在进行DDL的时候是不会阻塞读写的，在整个集群中会有多个TiDB Server，对于整个TiDB数据库来讲，同一时刻只能有一个TiDB Server进行DDL操作，同一时刻只有一个TiDB Server中的worker可以做操作

用户发送一个DDL语句，首先由start job接收，然后会把它作为一个job放在任务队列中，同一时间只有一个Server在执行，称之为owner，owner中的workers负责从队列中取第一个执行，执行完放在历史队列，然后去取下一个

每一个Server都有一个任期，超出时间段就会重新发起选举，可能会有一个新的owner

schema load用于在当前TiDB Server成为onwer角色之后，会将最新的所有表的信息同步到内部的缓存之中

GC机制与相关模块

在这里插入图片描述
定期清理历史版本

会有一个 TiDB Server会被选为GC leader，由它控制整个GC，会计算出一个时间戳safe point，这个时间以前的数据会被回收

TiDB Server的缓存

  • TiDB Server缓存的组成

    • SQL结果
    • 线程缓存
    • 元数据，统计信息

  • TiDB Server缓存管理

    • tidb_mem_quota_query：控制每条SQL语句能够默认使用的存储量
    • oom-action：如果SQL的内存使用超过上面设置的tidb_mem_quota_query之后，它是中断这条SQL，返回error，还是记录日志等等行为

热点小表缓存

在这里插入图片描述

  • 表的数据量不大
  • 只读表或者修改不频繁的表
  • 表的访问很频繁

在这里插入图片描述

表的大小不能超过64M

放进去之后为了保证读写一致，设置了一个参数tidb_table_cache_lease，也就是租约，默认5s

在这里插入图片描述
在这5s之内用户可以直接读这张表，租约时间内，无法进行写操作

在这里插入图片描述
租约到期后，这张小表就过期了，这个时候就可以直接去写TiKV，这个时候从TiKV中读取

在这里插入图片描述

数据更新完毕，租约继续开启

相关文章：

TiDB Server

文章目录TiDB Server架构TiDB Server作用TiDB Server的进程SQL语句的解析和编译SQL读写相关模块在线DDL相关模块GC机制与相关模块TiDB Server的缓存热点小表缓存TiDB Server架构 Protocol Layer、Parse、Compile负责sql语句的解析编译和优化，然后生成sql语句执行计划…...

编程日记 2023/3/10 5:25:42

S3C2440移植Linux4.19.275内核以及过程中遇到的问题

目录 1 问题一：内核移植时MTD分区问题 2 问题二：uboot的MTDPARTS_DEFAULT定义的MTD分区，bootargs中的文件系统分区，内核的mtd_partition smdk_default_nand_part定义的分区，三者要对应起来 3 问题三：ubo…...

编程日记 2023/3/10 5:24:39

解忧杂货铺（二）：UML时序图

目录 1、概述 2、UML时序图 2.1、什么是时序图 2.2、时序图的元素 2.2.1 角色(Actor) 2.2.2 对象(Object) 2.2.3 生命线(LifeLine) 2.2.4 控制焦点(Activation) 2.2.5 消息(Message) 2.2.6 自关联消息 2.2.7 组合片段 1、概述 在看AUTOSAR规范的时候发现时序图里面的…...

编程日记 2023/3/10 5:23:33

微信小程序的代码由哪些结构组成？

小程序官方建议把所有小程序的页面，都存放在pages 目录中，以单独的文件夹存在，如图所示： 其中，每个页面由4 个基本文件组成，它们分别是：js文件(页面的脚本文件，存放页面的数据、事件…...

编程日记 2023/3/10 5:22:30

Cloud Kernel SIG月度动态：发布 ANCK 新版本及 Plugsched v1.2.0

Cloud Kernel SIG（Special Interest Group）：支撑龙蜥内核版本的研发、发布和服务，提供生产可用的高性价比内核产品。 01 2 月 SIG 整体进展 发布 ANCK 4.19.91-27.1 版本。 发布 ANCK 5.10.134-13.1 版本。 调度器热升级相关事…...

编程日记 2023/3/10 5:21:26

Jedis 使用详解（官方原版）

一、配置 Maven 依赖项Jedis也通过Sonatype作为Maven Dependency 分发。要配置它&#xff0c;只需将以下 XML 代码段添加到您的 pom.xml 文件中。<dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>2.…...

编程日记 2023/3/10 5:20:22

关于Pytorch中的张量学习

关于Pytorch中的张量学习 张量的概念和创建 张量的概念 Tensor是pytorch中非常重要且常见的数据结构&#xff0c;相较于numpy数组&#xff0c;Tensor能加载到GPU中&#xff0c;从而有效地利用GPU进行加速计算。但是普通的Tensor对于构建神经网络还远远不够&#xff0c;我们需…...

编程日记 2023/3/10 5:19:16

基于Transformer的目标检测算法学习记录

前言 本文主要通过阅读相关论文了解当前Transformer在目标检测领域的应用与发展。 谷歌在 ICLR2020 上提出的 ViT&#xff08;Vision Transformer&#xff09;是将 Transformer 应用在视觉领域的先驱。从此&#xff0c;打开了Transformer进入CV领域的桥梁&#xff0c;NLP与CV几…...

编程日记 2023/3/10 5:18:11

嵌入式学习笔记——使用寄存器编程实现按键输入功能

文章目录前言模块介绍原理图编程思路前言 昨天&#xff0c;通过配置通用输出模式&#xff0c;实现了LED灯的点亮、熄灭以及流水等操作&#xff0c;解决了通用输出的问题&#xff0c;今天我们再借用最常见的输入模块&#xff0c;按键来实现一个按键控制LED的功能&#xff0c;重…...

编程日记 2023/3/10 5:17:08

打卡小达人之路：Spring Boot与Redis GEO实现商户附近查询

在当今社会&#xff0c;定位服务已经成为了各种应用的重要组成部分&#xff0c;比如地图、打车、美食等应用。如何在应用中实现高效的附近商户搜索功能呢&#xff1f;传统的做法是将商户的经纬度信息存储在关系型数据库中&#xff0c;然后使用SQL查询语句实现附近商户搜索功能。…...

编程日记 2023/3/10 5:16:04

Apache HTTP Server ＜2.4.56 mod_proxy_uwsgi 模块存在请求走私漏洞（CVE-2023-27522）

漏洞描述 Apache HTTP Server 是一个Web服务器软件。 该项目受影响版本存在请求走私漏洞。由于mod_proxy_uwsgi.c 中uwsgi_response方法对于源响应头缺少检查&#xff0c;当apache启用mod_proxy_uwsgi后&#xff0c;攻击者可利用过长的源响应头等迫使应转发到客户端的响应被截…...

编程日记 2023/3/10 5:15:01

JUC并发编程设计模式

一、保护性暂停 1.1 定义 即Guarded Suspension,用在一个线程等待另一 个线程的执行结果 要点 ● 有一个结果需要从一个线程传递到另一 个线程&#xff0c;让他们关联同一一个GuardedObject ● 如果有结果不断从一个线程到另一个线程那么可以使用消息队列&#xff08;生产者…...

编程日记 2023/3/10 5:13:57

HTTPS加密解析

日升时奋斗&#xff0c;日落时自省 目录 1、加密解释 2、对称加密 3、非对称加密 4、证书 HTTPS&#xff08;HyperText Transfer Protocol over Secure Socket Layer&#xff09;也是一个应用层协议&#xff0c;是在HTTP协议的基础上引入了一个加密层 HTTP协议内容都是按…...

编程日记 2023/3/10 5:12:55

Python每日一练(20230309)

目录 1. 删除有序数组中的重复项 ★ 2. 二叉树的最小深度 ★★ 3. 只出现一次的数字 II ★★ &#x1f31f; 每日一练刷题专栏 C/C 每日一练 ​专栏 Python 每日一练 专栏 1. 删除有序数组中的重复项 给你一个有序数组 nums &#xff0c;请你原地删除重复出现的元素…...

编程日记 2023/3/10 5:11:53

哈希表题目：数组的度

文章目录题目标题和出处难度题目描述要求示例数据范围解法思路和算法代码复杂度分析题目 标题和出处 标题&#xff1a;数组的度 出处&#xff1a;697. 数组的度 难度 4 级 题目描述 要求 给定一个非空且只包含非负数的整数数组 nums\texttt{nums}nums&#xff0c;数组的…...

编程日记 2023/3/10 5:10:51

初识rollup 打包、配置vue脚手架

rollup javascript 代码打包器&#xff0c;它使用了 es6 新标准代码模块格式。 特点&#xff1a; 面向未来&#xff0c;拥抱 es 新标准&#xff0c;支持标准化模块导入、导出等新语法。tree shaking 静态分析导入的代码。排除未实际引用的内容兼容现有的 commonJS 模块&#…...

编程日记 2023/3/10 5:09:48

软考网络工程师证书有用吗？

当然有用&#xff0c;但是拿到网络工程师证书的前提是对你自己今后的职业发展有帮助&#xff0c;用得到才能对你而言发挥它最大的好处。软考证书的具体用处&#xff1a;1.纳入我国高校人才培养和教学体系目前&#xff0c;软考已经被纳入高校人才培养和教学体系。在很多高校中&a…...

编程日记 2023/3/10 5:08:42

postgresql 自动备份 bat实现

postgres数据据备分，用cmd命令有些烦，写了个bat实现 BAT脚本中常用的注释命令有rem、@rem和:: rem、@rem和::用法都很简单，直接在命令后加上要注释的语句即可。例如下图，语言前加了rem，运行BAT时就会自动忽略这个句子。需要注释多行时，每行前面都要加上rem、@rem和::。…...

编程日记 2023/3/10 5:07:38

gdb：在命令行中会莫名暂停；detach-on-fork

这个没有捕获到断点的原因是，可能是多线程的问题，需要设置： set detach-on-fork off On Linux, if you want to debug both the parent and child processes, use the command: set detach-on-fork on/off on 默认设置，gdb会放弃子线程（或者父线程，受follow-fork-mode的…...

编程日记 2023/3/10 5:06:36

【3.9】RedisAOF日志、字符串、操作系统进程管理

4. 进程管理 进程、线程基础知识 什么是进程 我们编写的代码只是一个存储在硬盘的静态文件&#xff0c;通过编译后就会生成二进制可执行文件&#xff0c;当我们运行这个可执行文件后&#xff0c;它会被装载到内存中&#xff0c;接着 CPU 会执行程序中的每一条指令&#xff0c;…...

编程日记 2023/3/10 5:05:32

遥感智能解译新纪元：GeoSeg破解地物识别效率瓶颈的技术革新

遥感智能解译新纪元&#xff1a;GeoSeg破解地物识别效率瓶颈的技术革新 【免费下载链接】GeoSeg UNetFormer: A UNet-like transformer for efficient semantic segmentation of remote sensing urban scene imagery, ISPRS. Also, including other vision transformers and CN…...

编程新知 2026/3/28 4:44:03

2分钟搞定：Windows包管理器Winget一键安装全攻略

2分钟搞定&#xff1a;Windows包管理器Winget一键安装全攻略 【免费下载链接】winget-install Install winget tool using PowerShell! Prerequisites automatically installed. Works on Windows 10/11 and Server 2022. 项目地址: https://gitcode.com/gh_mirrors/wi/winge…...

编程新知 2026/3/28 4:07:52

基于粒子群优化算法的地表水源热泵机组优化调度 以水源热泵机组角度对地表水源热泵系统建模

基于粒子群优化算法的地表水源热泵机组优化调度 以水源热泵机组角度对地表水源热泵系统建模&#xff0c; 并采用粒子群优化算法优化算法求解热泵机组每小时最佳制冷量和制热量 最近帮朋友做了个小区地表水源热泵的调度优化项目&#xff0c;一开始以为就是调调空调温度&#xf…...

编程新知 2026/3/28 3:29:27

深度解析Mi-Create：开源智能手表表盘编辑器的完整实践指南

深度解析Mi-Create&#xff1a;开源智能手表表盘编辑器的完整实践指南 【免费下载链接】Mi-Create Unofficial watchface creator for Xiaomi wearables ~2021 and above 项目地址: https://gitcode.com/gh_mirrors/mi/Mi-Create 项目愿景与定位 在智能穿戴设备快速发展…...

编程新知 2026/3/28 3:07:13

避开这些坑！群晖+acme.sh申请Let’s Encrypt证书的完整指南

群晖NAS上零踩坑申请Lets Encrypt证书的终极实践手册 每次看到浏览器地址栏那个刺眼的"不安全"提示就浑身难受&#xff1f;作为群晖深度用户&#xff0c;我花了三个周末时间踩遍了所有证书申请的坑。从idn指令缺失到nss验证失败&#xff0c;从API调用超时到证书自动更…...

编程新知 2026/3/28 2:43:06

极简安装方案：树莓派部署OpenClaw轻量版对接云端Qwen3-32B

极简安装方案&#xff1a;树莓派部署OpenClaw轻量版对接云端Qwen3-32B 1. 为什么选择树莓派OpenClaw轻量版&#xff1f; 去年夏天&#xff0c;我突发奇想&#xff1a;能不能用树莓派做个24小时在线的AI管家&#xff1f;既能控制智能家居&#xff0c;又能处理简单办公任务。但…...

编程新知 2026/3/28 2:30:53

嵌入式软件架构设计：硬件抽象层实践

嵌入式软件架构设计&#xff1a;建立硬件抽象层的工程实践 1. 嵌入式软件架构概述 1.1 架构设计的必要性 在嵌入式系统开发中&#xff0c;软件架构设计直接影响产品的可维护性、可扩展性和可移植性。良好的架构设计能够&#xff1a; 减少不必要的返工 建立宏观层面的开发规…...

编程新知 2026/3/28 0:29:27

FPGA调试避坑指南：Vivado ILA采样深度和探针位宽怎么设？资源占用与调试效果的平衡术

FPGA调试实战&#xff1a;ILA采样深度与探针位宽的黄金平衡法则 当你在Artix-7芯片上调试一个包含32位计数器和多状态机的设计时&#xff0c;突然发现ILA吃掉了一半的Block RAM资源&#xff0c;而采样深度却只够捕获5个时钟周期的数据——这种场景是否似曾相识&#xff1f;本文…...

编程新知 2026/3/28 0:29:27

计算机毕业设计：汽车数据可视化与后台管理平台 Django框架 requests爬虫 可视化 车辆 数据分析 大数据 机器学习（建议收藏）✅

博主介绍&#xff1a;✌全网粉丝10W&#xff0c;前互联网大厂软件研发、集结硕博英豪成立软件开发工作室&#xff0c;专注于计算机相关专业项目实战6年之久&#xff0c;累计开发项目作品上万套。凭借丰富的经验与专业实力&#xff0c;已帮助成千上万的学生顺利毕业&#xff0c;…...

编程新知 2026/3/28 0:13:21

PyQt新手必看：Fluent Widgets vs PyQtGraph，哪个更适合你的GUI项目？

PyQt新手指南&#xff1a;Fluent Widgets与PyQtGraph的深度对比与选型策略 当你第一次踏入PyQt GUI开发的世界&#xff0c;面对琳琅满目的框架选择&#xff0c;是否感到迷茫&#xff1f;Fluent Widgets和PyQtGraph这两个名字可能已经出现在你的搜索列表中&#xff0c;但它们究竟…...

编程新知 2026/3/28 0:07:20