雪花算法生成的主键存在哪些问题,为什么不能使用自增ID或者UUID做MySQL的主键
MySQL 分布式架构中的主键选择:自增ID、UUID与雪花算法
为什么MySQL分布式架构中不能使用自增主键?
在分布式架构中,自增主键存在以下问题:
- 主键冲突风险:多个数据库实例同时生成自增主键会导致ID重复
- 分片不均匀:
• 采用范围分片时会出现"尾部热点"现象,压力集中在某个分片
• 无法实现负载均衡,新数据只能写入当前分片 - 数据合并困难:合并多个数据库时,自增主键会重复
- 性能瓶颈:自增锁在高并发场景下会成为性能瓶颈
- 安全性问题:自增ID容易被猜测,可能被用于恶意爬取数据
UUID作为主键的优缺点
优点
• 全局唯一性:几乎可以保证全球范围内的唯一性
• 分布式友好:无需协调即可在不同节点生成
• 安全性:随机生成的UUID难以被猜测
缺点
• 存储空间大:16字节(128位),是自增ID(通常4字节)的4倍
• 索引性能差:
• 无序插入导致B+树频繁分裂和平衡
• 增加索引大小,降低缓存命中率
• 可读性差:长字符串形式不利于人工识别和调试
• 碎片化问题:随机插入导致磁盘碎片化
MySQL 8.0优化:可使用UUID_TO_BIN函数将UUID转换为16字节二进制并排序,性能接近自增ID
雪花算法(SnowFlake)详解
原理
雪花算法生成64位长整型ID,结构如下:
0 | 0000000 00000000 00000000 00000000 00000000 | 00000 | 00000 | 00000000 0000
- 1位符号位:固定为0(正数)
- 41位时间戳:毫秒级时间,可用69年(从1970算起)
- 10位机器标识:
• 5位数据中心ID(32个可能值)
• 5位工作机器ID(32个可能值) - 12位序列号:同一毫秒内的计数器(4096个值/ms/机器)
优势
- 全局唯一:通过时间戳+机器ID+序列号组合保证
- 有序递增:基于时间戳,有利于索引和排序
- 高性能:本地生成,每秒可生成数百万ID
- 不依赖第三方:算法简单,内存中完成
- 分布式友好:支持最多1024个节点(10位机器标识)
不足与解决方案
-
时钟回拨问题
• 问题:服务器时间被调回导致重复ID
• 解决方案:
◦ 直接抛出异常,停止服务
◦ 记录最近时间戳,回拨时等待
◦ 使用扩展位记录时钟序列(3位时钟序列+7位机器ID)
◦ 采用Leaf、UidGenerator等改进方案 -
机器ID限制
• 问题:10位仅支持1024个节点
• 解决方案:
◦ 预分配ID(适合固定节点)
◦ 动态分配(使用Redis/Zookeeper存储ID)
◦ 扩展位数(牺牲部分时间戳或序列号位) -
时间戳耗尽
• 问题:41位时间戳约69年后耗尽
• 解决方案:调整起始时间(如使用系统上线时间而非1970)
代码示例(Java)
public class SnowflakeIdGenerator {private final long twepoch = 1577836800000L; // 自定义起始时间(2020-01-01)private final long workerIdBits = 5L;private final long datacenterIdBits = 5L;private final long maxWorkerId = -1L ^ (-1L << workerIdBits);private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);private final long sequenceBits = 12L;private final long workerIdShift = sequenceBits;private final long datacenterIdShift = sequenceBits + workerIdBits;private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;private final long sequenceMask = -1L ^ (-1L << sequenceBits);private long workerId;private long datacenterId;private long sequence = 0L;private long lastTimestamp = -1L;public SnowflakeIdGenerator(long workerId, long datacenterId) {// 参数校验this.workerId = workerId;this.datacenterId = datacenterId;}public synchronized long nextId() {long timestamp = timeGen();// 处理时钟回拨if (timestamp < lastTimestamp) {throw new RuntimeException("Clock moved backwards");}if (lastTimestamp == timestamp) {sequence = (sequence + 1) & sequenceMask;if (sequence == 0) {timestamp = tilNextMillis(lastTimestamp);}} else {sequence = 0L;}lastTimestamp = timestamp;return ((timestamp - twepoch) << timestampLeftShift)| (datacenterId << datacenterIdShift)| (workerId << workerIdShift)| sequence;}// 其他辅助方法...
}
总结对比
| 特性 | 自增ID | UUID | 雪花算法 |
|---|---|---|---|
| 唯一性 | 单机唯一 | 全局唯一 | 全局唯一 |
| 有序性 | 严格有序 | 完全无序 | 时间有序 |
| 存储空间 | 4-8字节 | 16字节 | 8字节 |
| 分布式支持 | 不支持 | 支持 | 支持 |
| 生成方式 | 数据库生成 | 应用生成 | 应用生成 |
| 性能影响 | 自增锁瓶颈 | 索引分裂 | 时钟依赖 |
| 适用场景 | 单机MySQL | 简单分布式系统 | 高并发分布式系统 |
推荐选择:
• 单机系统:自增ID
• 简单分布式系统:MySQL 8.0的有序UUID
• 高并发分布式系统:雪花算法或其改进版(如Leaf)
相关文章:
雪花算法生成的主键存在哪些问题,为什么不能使用自增ID或者UUID做MySQL的主键
MySQL 分布式架构中的主键选择:自增ID、UUID与雪花算法 为什么MySQL分布式架构中不能使用自增主键? 在分布式架构中,自增主键存在以下问题: 主键冲突风险:多个数据库实例同时生成自增主键会导致ID重复分片不均匀&am…...
SpringBean模块(二)bean初始化(2)和容器初始化顺序的比较--引入ApplicationContextInitializer
前面介绍了获取容器可以让spring bean实现ApplicationContextAware,实际也是初始化执行了setApplicationContext接口, 初始化接口还可以借助一些注解或者spring bean的初始化方法,那么他们的执行顺序是什么样的呢? 一、验证&…...
【分享】内外网文件摆渡系统:让数据传输更安全更可靠
【分享】Ftrans内外网文件摆渡系统:让数据传输更安全更可靠! 随着大数据时代的到来,数据的重要性日渐得到重视,数据作为数字经济时代下的基础性资源和战略性资源,是决定国家经济发展水平和竞争力的核心驱动力。以行业…...
2025年江苏省职业院校技能大赛 (高职组)大数据应用开发赛项任务书 (样题)
2025年江苏省职业院校技能大赛 (高职组)大数据应用开发赛项任务书 (样题) 背景描述:任务A:离线数据处理(35分)子任务一:数据抽取子任务三:指标计算 任务B&…...
前端学习记录之HTML
1. 网页 1.1 什么是网页 网站是指在因特网上根据一定的规则,使用HTML等制作的用于展示特定内容相关的网页集合。 网页是网站中的一“页”,通常是HTML格式的文件,它要通过浏览器来阅读 网页是构成网站的基本元素。它通常由图片,…...
解释一下Unity碰撞的触发条件
Unity中碰撞的触发条件主要与物体的碰撞体(Collider)和刚体(Rigidbody)组件有关。具体来说,Unity的物理引擎会根据物体的配置来检测碰撞(Collision)和触发器(Trigger)事件…...
手机显示5GA图标的条件
最近有星友问在什么情况下才能显示5G-A?虽然这个我也不知道,但是我有几个运营商的5G终端白皮书,从上面就可以找到答案。 如上是几个运营商显示5G-A的条件,基本上考虑的都是3CC的情况,联通还有考虑200M CA 2CC的场景&am…...
Spring Boot 实现文件秒传功能
前言 在开发Web应用时,文件上传是一个常见需求。然而,当用户需要上传大文件或相同文件多次时,会造成带宽浪费和服务器存储冗余。此时可以使用文件秒传技术通过识别重复文件,实现瞬间完成上传的效果,大大提升了用户体验…...
使用AOP技术实现Java通用接口验签工具
一、背景 在给第三方提供接口时,我们需要对接口进行验签。具体来说,当外部系统调用我们的接口时,请求中需要携带一个签名,我们接收到请求后,会解析数据并校验签名是否正确,以确保请求的合法性和安全性。 为了在不同项目中方便地使用这一功能,我们将签名校验规则封装成一…...
Foldseek快速蛋白质结构比对
1. 下载和安装 Foldseek 如果只是单个蛋白质结构的序列比对,我们只需要用Foldseek 的网站服务 https://search.foldseek.com/search 上传我们的蛋白质结构并选择想要进行比对的数据库即可,这里不做重点讲解。做生物信息学研究,我们难免需要批…...
JAVA设计模式之适配器模式《太白金星有点烦》
太白金星握着月光凝成的鼠标,第108次检查南天门服务器的运行日志。这个刚从天枢院调来的三等仙官,此刻正盯着瑶池主机房里的青铜鼎发愁——鼎身上"天地同寿"的云纹间,漂浮着三界香火系统每分钟吞吐的十万条功德数据。看着居高不下的…...
w2ui 水平滚动移动 虚拟列 数据丢失
https://w2ui.com/web/docs/1.5/w2grid.disableCVS https://github.com/vitmalina/w2ui/issues/1398 解决方案来源 问题现象: 窗口缩小 导致多列 出现水平滚动,滚动时触发本地样式重绘,导致record undefined,从而引发多列报错 解决方案: 使用 disableCVS : true 一次加载到d…...
aarch64-none-elf-gcc与aarch64-linux-gnu-gcc
1. 场景描述 在Ubuntu 24.04.1 LTS x86_64架构下交叉编译能跑在aarch64架构下裸机程序,遇到缺aarch64-none-elf-gcc的情况,做此记录。 2. aarch64-none-elf-gcc与aarch64-linux-gnu-gcc 运行环境 aarch64-none-elf-gcc 生成的代码是 裸机程序…...
MySQL篇(一):慢查询定位及索引、B树相关知识详解
MySQL篇(一):慢查询定位及索引、B树相关知识详解 MySQL篇(一):慢查询定位及索引、B树相关知识详解一、MySQL中慢查询的定位(一)慢查询日志的开启(二)慢查询日…...
【清华大学】DeepSeek政务应用场景与解决方案
目录 一、政务数字化转型三阶段演进二、人工智能政务应用场景四大方向 三、技术方案核心技术 四、解决方案案例1. 公文写作2. 合同协议智能审查3. 行政执法4. 就业指导 五、风险及对策六、落地大四步法七、未来发展展望AI职业替代逻辑空间智能与具身智能人机共生 一、政务数字化…...
4.2 单相机引导机器人放料-仅考虑角度变化
【案例说明】 本案例产品在托盘中,角度变化不大(<15度);抓取没有问题,只是放的穴位只能容许3度的角度偏差,因此需要测量产品的角度。 思路是:机器人抓料后、去固定拍照位拍照(找到与标准照片的角度偏差),机器人在放料的位置上多旋转这个角度偏差,把产品放进去。 …...
洛谷题单1-P5704 【深基2.例6】字母转换-python-流程图重构
题目描述 输入一个小写字母,输出其对应的大写字母。例如输入 q[回车] 时,会输出 Q。 输入格式 无 输出格式 无 输入输出样例 输入 q输出 Q方式-upper() 代码 class Solution:staticmethoddef oi_input():"""从标准输入读取数据…...
论文阅读笔记:Denoising Diffusion Implicit Models (3)
0、快速访问 论文阅读笔记:Denoising Diffusion Implicit Models (1) 论文阅读笔记:Denoising Diffusion Implicit Models (2) 论文阅读笔记:Denoising Diffusion Implicit Models (…...
Git(八)如何在同一台电脑登录两个Git
目录 一、理解 SSH 密钥机制二、具体实现步骤1.删除GIT全局配置2.生成多个 SSH 密钥3.添加公钥到 Git 账户4.配置 SSH config 文件5.测试SSH key是否生效6.下载代码 三、Git仓库级别配置四、HTTPS方式的多账号管理 引言: 在日常开发中,我们经常会遇到需要…...
FPGA学习-基于 DE2-115 板的 Verilog 分秒计数器设计与按键功能实现
一、核心功能设计 按键暂停/继续:通过KEY1控制计时状态 按键消抖处理:20ms消抖周期消除机械抖动 硬件资源分配:符合DE2-115开发板引脚规范 二、核心模块实现详解 1. 顶层模块(counter) module counter(input CL…...
如何改电脑网络ip地址:一步步指导
有时我们需要更改电脑的网络IP地址以满足特定的网络需求。本文将为您提供一份详细的步骤指南,帮助您轻松完成电脑网络IP地址的更改。以下是更改计算机IP地址的分步指南,适用于常见的操作系统: 一、更换内网ip Windows 系统(Win10…...
PyTorch 分布式训练(Distributed Data Parallel, DDP)简介
PyTorch 分布式训练(Distributed Data Parallel, DDP) 一、DDP 核心概念 torch.nn.parallel.DistributedDataParallel 1. DDP 是什么? Distributed Data Parallel (DDP) 是 PyTorch 提供的分布式训练接口,DistributedDataPara…...
prism WPF 消息的订阅或发布
prism WPF 消息的订阅或发布 EventMessage using Prism.Events; using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks;namespace Cjh.PrismWpf {/// <summary>/// 事件消息/// </summary>publ…...
【Unity】记录TMPro使用过程踩的一些坑
1、打包到webgl无法输入中文,编辑器模式可以,但是webgl不行,试过网上的脚本,还是不行 解决方法:暂时没找到 2、针对字体asset是中文时,overflow的效果模式处理奇怪,它会出现除了overflow模式以…...
计算机视觉初步(环境搭建)
1.anaconda 建议安装在D盘,官网正常安装即可,一般可以安装windows版本 安装成功后,可以在电脑应用里找到: 2.创建虚拟环境 打开anaconda prompt, 可以用conda env list 查看现有的环境,一般打开默认bas…...
【go】异常处理panic和recover
panic 和 recover 当然能触发程序宕机退出的,也可以是我们自己,比如经过检查判断,当前环境无法达到我们程序进行的预期条件时(比如一个服务指定监听端口被其他程序占用),可以手动触发 panic,让…...
Sentinel[超详细讲解]-3
主要讲解🚀 - 基于QPS/并发数的流量控制 1、流控规则 流量控制(Flow Control)用于限制某个资源的访问频率,防止系统被瞬时的流量高峰冲垮。流量控制规则可以针对不同的资源进行配置,例如接口、方法、类等。 流量规则的…...
【云原生】Kubernetes CEL 速查表
以下是一份 Kubernetes CEL 速查表(Cheat Sheet),涵盖了常见的语法、宏、标准函数和一些在 Kubernetes 中常见的使用示例。可在编写或调试 CEL 表达式时用作快速参考。 1. 基础概念 概念说明语言特点无副作用、逐渐类型化(Gradua…...
基于聚类与引力斥力优化的选址算法
在众多实际场景中,诸如消防设施选址、基站布局规划以及充电桩站点部署等,都面临着如何利用最少的资源,实现对所有目标对象全面覆盖的难题。为有效解决这类问题,本文提出一种全新的组合算法模型 —— 基于聚类与引力斥力优化的选址…...
深入剖析雪花算法:分布式ID生成的核心方案
深入剖析雪花算法:分布式ID生成的核心方案 深入剖析雪花算法:分布式ID生成的核心方案一、雪花算法(Snowflake)概述二、雪花算法核心组成1. 64位二进制结构2. 时间戳起始点 三、工作原理与代码实现1. 生成逻辑2. Java代码示例3. 代…...
