深入剖析雪花算法:分布式ID生成的核心方案
深入剖析雪花算法:分布式ID生成的核心方案
- 深入剖析雪花算法:分布式ID生成的核心方案
- 一、雪花算法(Snowflake)概述
- 二、雪花算法核心组成
- 1. 64位二进制结构
- 2. 时间戳起始点
- 三、工作原理与代码实现
- 1. 生成逻辑
- 2. Java代码示例
- 3. 代码详解
- 四、雪花算法的优缺点
- 1. 优点
- 2. 缺点
- 五、应用场景
- 六、变种与优化
- 七、替代方案对比
- 八、总结
深入剖析雪花算法:分布式ID生成的核心方案
一、雪花算法(Snowflake)概述
雪花算法是Twitter开源的分布式ID生成算法,旨在解决分布式系统中全局唯一ID的生成问题。其核心思想是通过64位二进制数(转换为十进制约9.22亿),将时间戳、数据中心ID、机器ID和序列号等信息编码到ID中,保证ID的唯一性、递增性和可排序性。
二、雪花算法核心组成
1. 64位二进制结构
1位(未使用) | 41位时间戳 | 5位数据中心ID | 5位机器ID | 12位序列号
- 1位符号位:固定为0,保证ID为正数。
- 41位时间戳:精确到毫秒,可支持约69年((2^41 -1)/1000/3600/24/365 ≈ 69年)。
- 5位数据中心ID:支持32个数据中心。
- 5位机器ID:每个数据中心支持32台机器。
- 12位序列号:同一毫秒内,每台机器最多生成4096个ID。
2. 时间戳起始点
通常设置为某个特定时间(如2023-01-01 00:00:00 UTC),避免ID过大。
三、工作原理与代码实现
1. 生成逻辑
- 获取当前时间戳:毫秒级时间戳,与起始时间戳的差值。
- 检查时钟回拨:若当前时间小于上一次生成时间,需等待或调整时间戳。
- 递增序列号:同一毫秒内,序列号从0开始递增,达到最大值后等待下一毫秒。
- 组合各部分:将时间戳、数据中心ID、机器ID和序列号按位组合成64位ID。
2. Java代码示例
public class SnowflakeIdGenerator {private final long dataCenterId;private final long workerId;private long sequence = 0L;private long lastTimestamp = -1L;public SnowflakeIdGenerator(long dataCenterId, long workerId) {if (dataCenterId > 31 || dataCenterId < 0) {throw new IllegalArgumentException("Data center ID must be between 0 and 31");}if (workerId > 31 || workerId < 0) {throw new IllegalArgumentException("Worker ID must be between 0 and 31");}this.dataCenterId = dataCenterId;this.workerId = workerId;}public synchronized long nextId() {long timestamp = System.currentTimeMillis();// 处理时钟回拨if (timestamp < lastTimestamp) {throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds",lastTimestamp - timestamp));}if (timestamp == lastTimestamp) {sequence = (sequence + 1) & 0xFFF; // 12位序列号最大值4095if (sequence == 0) {timestamp = waitNextMillis(lastTimestamp); // 等待下一毫秒}} else {sequence = 0;}lastTimestamp = timestamp;return (timestamp << 22) |(dataCenterId << 17) |(workerId << 12) |sequence;}private long waitNextMillis(long lastTimestamp) {long timestamp = System.currentTimeMillis();while (timestamp <= lastTimestamp) {timestamp = System.currentTimeMillis();}return timestamp;}public static void main(String[] args) {SnowflakeIdGenerator generator = new SnowflakeIdGenerator(1, 1);for (int i = 0; i < 10; i++) {System.out.println(generator.nextId());}}
}
3. 代码详解
- 构造方法:初始化数据中心ID和机器ID,范围均为0-31。
- nextId()方法:
- 获取当前时间戳,处理时钟回拨异常。
- 同一毫秒内递增序列号,超过最大值时等待下一毫秒。
- 通过位运算组合各部分生成ID。
- waitNextMillis():阻塞等待直到获取新的时间戳。
四、雪花算法的优缺点
1. 优点
- 高性能:单节点每秒可生成约409.6万个ID(32台机器 × 4096序列号/毫秒)。
- 全局唯一:通过时间戳、数据中心ID、机器ID和序列号确保唯一性。
- 趋势递增:时间戳高位保证ID按时间排序,便于数据库索引优化。
- 低延迟:生成过程无需网络IO或数据库操作。
2. 缺点
- 对时钟敏感:若服务器时钟回拨,可能导致ID重复或异常。
- ID长度固定:64位ID占用较多存储空间,某些场景需转换为字符串。
- 依赖系统时间:若系统时间不准确,可能影响ID生成逻辑。
五、应用场景
- 分布式系统:电商订单ID、支付交易ID、用户行为日志ID等。
- 数据库分库分表:作为分布式主键,避免跨库ID冲突。
- 日志系统:按时间排序的日志ID,便于快速查询和分析。
- 消息队列:消息唯一标识,支持幂等性处理。
六、变种与优化
- 调整各部分位数:根据实际需求调整时间戳、数据中心ID、机器ID和序列号的位数。例如,若数据中心数量少,可减少数据中心ID位数,增加序列号位数以支持更高并发。
- 解决时钟回拨:
- 补偿策略:检测到时钟回拨时,等待直到时间恢复正常。
- 记录最大时间戳:若时间回拨不超过某个阈值,使用缓存的最大时间戳生成ID。
- 结合其他算法:如将雪花算法与UUID结合,生成更复杂的ID。
七、替代方案对比
| 方案 | 优点 | 缺点 |
|---|---|---|
| 雪花算法 | 高性能、全局唯一、趋势递增 | 依赖时钟、ID长度固定 |
| UUID | 完全分布式、无中心节点 | 无序、占用空间大、不可排序 |
| 数据库自增ID | 简单易用、递增性好 | 单点瓶颈、扩展性差 |
| Redis生成ID | 高性能、可扩展 | 依赖Redis集群、需额外维护 |
八、总结
雪花算法是分布式系统中生成唯一ID的经典方案,通过合理的位分配和时钟管理,在性能、唯一性和可扩展性之间取得了良好平衡。理解其原理和实现,能帮助开发者在分布式系统设计中更好地选择ID生成策略。在实际应用中,可根据业务需求调整参数或结合其他方案,打造适合自身场景的ID生成系统。
相关文章:
深入剖析雪花算法:分布式ID生成的核心方案
深入剖析雪花算法:分布式ID生成的核心方案 深入剖析雪花算法:分布式ID生成的核心方案一、雪花算法(Snowflake)概述二、雪花算法核心组成1. 64位二进制结构2. 时间戳起始点 三、工作原理与代码实现1. 生成逻辑2. Java代码示例3. 代…...
RK3568 pinctrl内容讲解
文章目录 一、pinctrl的概念`pinctrl` 的作用设备树中的 `pinctrl` 节点典型的 `pinctrl` 节点结构例子`pinctrl` 的重要性总结二、RK3568的pinctrl讲解1. `pinctrl` 节点2. `gpio0` 至 `gpio4` 子节点每个 `gpioX` 子节点的结构和作用3. `gpio1` 到 `gpio4` 子节点总结1. `aco…...
主流Web3公链的核心区别对比
以下是当前主流Web3公链的核心区别对比表,涵盖技术架构、性能、生态等关键维度: 特性以太坊 (Ethereum)SolanaBNB ChainPolygonAvalanche共识机制PoS(信标链分片)PoH(历史证明) PoSPoSA(权益证…...
Mac 电脑移动硬盘无法识别的解决方法
在使用 Mac 电脑的过程中,不少用户都遇到过移动硬盘没有正常推出,导致无法识别的问题。这不仅影响了数据的传输,还可能让人担心硬盘内数据的安全。今天,我们就来详细探讨一下针对这一问题的解决方法。 当发现移动硬盘无法识别时&…...
LeetCode Hot100 刷题笔记(4)—— 二叉树、图论
目录 一、二叉树 1. 二叉树的深度遍历(DFS:前序、中序、后序遍历) 2. 二叉树的最大深度 3. 翻转二叉树 4. 对称二叉树 5. 二叉树的直径 6. 二叉树的层序遍历 7. 将有序数组转换为二叉搜索树 8. 验证二叉搜索树 9. 二叉搜索树中第 K 小的元素 …...
安全框架SpringSecurity入门
安全框架 Spring Security 入门 Spring Security 是一个强大的安全框架,广泛用于保护基于 Spring 的应用程序。它提供了全面的安全服务,包括认证、授权、攻击防护等。下面我将为你详细介绍 Spring Security 的主要知识点,帮助你更好地理解和…...
c# 虚函数、接口、抽象区别和应用场景
文章目录 定义和语法实现要求继承和使用场景总结访问修饰符设计目的性能扩展性在 C# 里,虚函数、接口和抽象函数都能助力实现多态性,不过它们的定义、使用场景和特点存在差异,下面为你详细剖析: 定义和语法 虚函数:虚函数在基类里定义,使用 virtual 关键字,且有默认的实…...
MySQL Online DDL 技术深度解析
在MySQL数据库管理体系中,数据定义语言(DDL)和数据操作语言(DML)构成了数据库交互的基础。 DDL用于定义数据库对象,如数据库、表、列、索引等,相关命令包括CREATE、ALTER、DROP;DML则…...
【计算机视觉】YOLO语义分割
一、语义分割简介 1. 定义 语义分割(Semantic Segmentation)是计算机视觉中的一项任务,其目标是对图像中的每一个像素赋予一个类别标签。与目标检测只给出目标的边界框不同,语义分割能够在像素级别上区分不同类别,从…...
【SpringBoot + MyBatis + MySQL + Thymeleaf 的使用】
目录: 一:创建项目二:修改目录三:添加配置四:创建数据表五:创建实体类六:创建数据接口七:编写xml文件八:单元测试九:编写服务层十:编写控制层十一…...
git 按行切割 csv文件
# 进入Git Bash环境 # 基础用法(不保留标题行): split -l 1000 input.csv output_part_# 增强版(保留标题行): header$(head -n1 input.csv) # 提取标题 tail -n 2 input.csv | split -l 5000000 - --filt…...
在ensp进行OSPF+RIP+静态网络架构配置
一、实验目的 1.Ospf与RIP的双向引入路由消息 2.Ospf引入静态路由信息 二、实验要求 需求: 路由器可以互相ping通 实验设备: 路由器router7台 使用ensp搭建实验坏境,结构如图所示 三、实验内容 1.配置R1、R2、R3路由器使用Ospf动态路由…...
Qt实现HTTP GET/POST/PUT/DELETE请求
引言 在现代应用程序开发中,HTTP请求是与服务器交互的核心方式。Qt作为跨平台的C框架,提供了强大的网络模块(QNetworkAccessManager),支持GET、POST、PUT、DELETE等HTTP方法。本文将手把手教你如何用Qt实现这些请求&a…...
从零开始开发HarmonyOS应用并上架
开发环境搭建(1-2天) 硬件准备 操作系统:Windows 10 64位 或 macOS 10.13 内存:8GB以上(推荐16GB) 硬盘:至少10GB可用空间 软件安装 下载 DevEco Studio 3.1(官网:…...
Redis安全与配置问题——AOF文件损坏问题及解决方案
Java 中的 Redis AOF 文件损坏问题全面解析 一、AOF 文件损坏的本质与危害 1.1 AOF 持久化原理 Redis 的 AOF(Append-Only File) 通过记录所有写操作命令实现持久化。文件格式如下: *2\r\n$6\r\nSELECT\r\n$1\r\n0\r\n *3\r\n$3\r\nSET\r\…...
Java 线程池与 Kotlin 协程 高阶学习
以下是Java 线程池与 Kotlin 协程 高阶学习的对比指南,结合具体代码示例,展示两者在异步任务处理中的差异和 Kotlin 的简化优势: 分析: 首先,我们需要回忆Java中线程池的常见用法,比如通过ExecutorService创…...
3.第二阶段x64游戏实战-分析人物移动实现人物加速
免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 本次游戏没法给 内容参考于:微尘网络安全 上一个内容:2.第二阶段x64游戏实战-x64dbg的使用 想找人物的速度,就需要使用Ch…...
leetcode 746. Min Cost Climbing Stairs
这道题用动态规划解决。这道题乍一看,含义有点模糊。有两个点要搞清楚:1)给定len个台阶的梯子,其实是要爬完(越过)整个梯子才算到达顶部,相当于顶部是第len1层台阶。台阶序号从0开始编号的话&am…...
网络信息安全应急演练方案
信息安全应急演练方案 总则 (一)编制目的 旨在建立并完善应对病毒入侵、Webshell 攻击以及未授权访问等信息安全突发事件的应急机制,提升组织对这类事件的快速响应、协同处理和恢复能力,最大程度降低事件对业务运营、数据安全和…...
H.264编码解析与C++实现详解
一、H.264编码核心概念 1.1 分层编码结构 H.264采用分层设计,包含视频编码层(VCL)和网络抽象层(NAL)。VCL处理核心编码任务,NAL负责封装网络传输数据。 1.2 NALU单元结构 // NAL单元头部结构示例 struc…...
Python入门(5):异常处理
目录 1 异常处理基础概念 1.1 什么是异常? 1.2 异常与错误的区别 2 异常处理基础 2.1 常见内置异常类型 2.2 try-except 基本结构 2.3 捕获多个异常 2.4 抛出异常 2.4.1 使用raise语句 2.4.2 自定义异常类 3 高级异常处理技巧 3.1 不要过度捕…...
Scala(三)
本节课学习了函数式编程,了解到它与Java、C函数式编程的区别;学习了函数的基础,了解到它的基本语法、函数和方法的定义、函数高级。。。学习到函数至简原则,高阶函数,匿名函数等。 函数的定义 函数基本语法 例子&…...
什么是 Java 泛型
一、什么是 Java 泛型? 泛型(Generics) 是 Java 中一种强大的编程机制,允许在定义类、接口和方法时使用类型参数。通过泛型,可以将数据类型作为参数传递,从而实现代码的通用性和类型安全。 简单来说&…...
Unity中根据文字数量自适应长宽的对话气泡框UI 会自动换行
使用Ugui制作一个可以根据文本数量自动调整宽度,并可以自动换行的文字UI 或者不要独立的Bg,那么一定要把bg的img设置成切片...
【小也的Java之旅系列】02 分布式集群详解
文章目录 前言为什么叫小也 本系列适合什么样的人阅读正文单体优点缺点 CAP为什么CAP不可能全部满足?CAP 三选二 分布式事务分布式方案——SeataXA模式(强一致)AT模式(自动补偿,默认模式)TCC模式࿰…...
Ubuntu里安装Jenkins
【方式1】:下载war包,直接运行,需提前搭建Java环境,要求11或17,不推荐,war包下载地址,将war包上传到服务器,直接使用命令启动 java -jar /data/jenkins/jenkins.war【方式2】&#…...
C++包管理工具vcpkg的安装使用教程
前言 使用vcpkg可以更方便地安装各种库,省去配置的时间和配置失败的风险,类似python中的anaconda,懒人必备 参考 安装参考:https://bqcode.blog.csdn.net/article/details/135831901?fromshareblogdetail&sharetypeblogde…...
微服务面试题:配置中心
🧑 博主简介:CSDN博客专家,历代文学网(PC端可以访问:https://literature.sinhy.com/#/?__c1000,移动端可微信小程序搜索“历代文学”)总架构师,15年工作经验,精通Java编…...
Qt msvc2017程序无法用enigma vitrual box打包,用winrar打包
我们通常打包Qt程序用Enigma virtual box。这样我们的程序就可以在别的电脑上也能运行,但是有时候,我们发现Enigma virtual box在打包的时候,对于msvc2017需要编译的程序中引用webengineview模块,打包时候发现不能运行。 我们如何…...
微服务集成测试 -华为OD机试真题(A卷、JavaScript)
题目描述 现在有n个容器服务,服务的启动可能有一定的依赖性(有些服务启动没有依赖),其次,服务自身启动加载会消耗一些时间。 给你一个n n 的二维矩阵useTime,其中useTime[i][i]10表示服务i自身启动加载需…...
