当前位置: 首页 > news >正文

【分布式系统】唯一性ID的实现

1、UUID(通用唯一标识符)

1、UUID本身
一种用于标识信息的标准化方法。一个128位的数字,常表示为32个十六进制数字,以连字符分隔成五组:8-4-4-4-12。

版本: UUID有不同的版本,最常见的是基于时间戳和随机数生成的版本1和版本4。
唯一性: 由于UUID的长度和生成机制,可以保证在大多数情况下生成的UUID是唯一的。
应用: 在各种系统中广泛应用,用于唯一标识实体、会话、交易等。

2、设计方法:
时间戳: 将当前时间戳作为UUID的一部分,以确保在同一时刻生成的UUID是唯一的。

节点标识: 在分布式系统中,将每个节点的唯一标识符(如机器ID)纳入UUID的生成过程,以防止在不同节点上生成相同的UUID。

随机数生成器: 将随机数作为UUID的一部分,以增加唯一性,但在分布式系统中要确保随机数生成器是足够随机的。

考虑时钟回拨问题: 如果使用时间戳作为UUID的一部分,需要考虑时钟回拨可能导致的重复UUID问题。可以采用一些机制来解决时钟回拨带来的潜在问题,比如使用递增序列号。

一致性哈希算法: 基于节点信息和数据内容计算哈希值,然后将哈希值转换为UUID。这样可以确保相同的数据在不同节点上生成的UUID是一致的。

时钟回拨问题
指在分布式系统中,当某个节点的系统时间发生回拨(即向过去跳跃)时可能导致的一系列问题。
引起的原因:手动调整时间;网络时间协议(NTP)校准;系统重启或故障;虚拟机迁移;
解决方向:使用逻辑时钟;增加容错机制;使用稳定的时钟;时间校正算法;设计时避免依赖绝对时间;

package mainimport ("fmt""github.com/google/uuid"
)func main() {// 生成一个新的 UUIDnewUUID := uuid.New()fmt.Printf("Generated UUID: %s\n", newUUID)
}

2、数据库序列(自增ID)

简单,工作方式:基于中央数据库的序列生成器,如自增ID,每次请求时递增序列值。顺序性:保证了生成ID的顺序性和唯一性。

package mainimport ("database/sql""fmt"_ "github.com/mattn/go-sqlite3"
)func main() {// 连接到 SQLite 数据库db, err := sql.Open("sqlite3", "test.db")if err != nil {fmt.Println(err)return}defer db.Close()// 创建一个包含自增ID的表_, err = db.Exec("CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT)")if err != nil {fmt.Println(err)return}fmt.Println("Table created successfully")
}
//连接到 SQLite 数据库,并创建了一个名为 users 的表,该表包含一个自增的整数类型的ID列和一个文本类型的 name 列。
//不同的数据库(如 MySQL、PostgreSQL 等)可能有不同的语法和方式来实现自动递增的ID列

3、雪花算法(Twitter Snowflake)

Twitter开发的一种生成64位ID的服务,基于时间戳、机器ID和序列号。

时间戳(41位): 用于表示ID生成的时间戳,通常精确到毫秒级。
机器ID(10位): 标识生成ID的机器的唯一标识,通常使用数据中心ID与机器ID的组合。
序列号(12位): 在同一毫秒内,通过累加的方式生成序列号,确保在同一节点上生成的ID是唯一的。

雪花算法的优点包括高性能、高可用性和ID趋势递增。在实际应用中,可根据需求调整时间戳的位数、机器ID的位数和序列号的位数来适应不同的场景。
一般用于替代传统自增ID的方式。

package mainimport ("fmt""sync""time"
)const (epoch time.Duration = 1609459200000 // 2021-01-01 的时间戳,用于生成时间戳部分workerIDBits       = 5               // 机器 ID 的位数sequenceBits       = 12              // 序列号的位数maxWorkerID        = -1 ^ (-1 << workerIDBits)maxSequence        = -1 ^ (-1 << sequenceBits)
)type Snowflake struct {mu         sync.MutexlastTime   int64workerID   uintsequence   uint
}func NewSnowflake(workerID uint) *Snowflake {if workerID > maxWorkerID {panic("worker ID 超出范围")}return &Snowflake{lastTime: 0,workerID: workerID,sequence: 0,}
}func (s *Snowflake) GenerateID() uint64 {s.mu.Lock()defer s.mu.Unlock()currentTime := time.Now().UnixNano() / 1e6 // 获取当前时间的毫秒数if s.lastTime == currentTime {s.sequence = (s.sequence + 1) & maxSequenceif s.sequence == 0 {for currentTime <= s.lastTime {currentTime = time.Now().UnixNano() / 1e6}}} else {s.sequence = 0}s.lastTime = currentTimeid := uint64((currentTime-epoch)<<22 | int64(s.workerID)<<17 | int64(s.sequence))return id
}func main() {sf := NewSnowflake(1) // 设定一个机器 IDid := sf.GenerateID()fmt.Println(id)
}

4、使用Redis实现分布式ID生成

Redis是一个高性能的键值数据库,它可以用于生成分布式唯一标识符。
不同Redis实例通过配置不同的起始步长来区分。
这个的实现原理利用了Redis的原子操作。

package mainimport ("fmt""github.com/go-redis/redis/v8""log""time"
)var redisClient *redis.Clientfunc init() {redisClient = redis.NewClient(&redis.Options{Addr:     "localhost:6379", // Redis 服务器地址Password: "",               // Redis 密码,如果有的话DB:       0,                // 选择使用的数据库})
}func generateID(key string) (int64, error) {val, err := redisClient.Incr(key).Result()if err != nil {return 0, err}return val, nil
}func main() {key := "distributed_id_generator" // Redis 中的键名// 生成 5 个分布式 IDfor i := 0; i < 5; i++ {id, err := generateID(key)if err != nil {log.Fatalf("Failed to generate ID: %v", err)}fmt.Printf("Generated ID: %d\n", id)time.Sleep(time.Millisecond) // 可选的延迟,以避免生成相同的 ID}
}
package mainimport ("fmt""github.com/go-redis/redis/v8""log""time"
)var redisClients map[string]*redis.Clientfunc init() {redisClients = make(map[string]*redis.Client)redisClients["instance1"] = redis.NewClient(&redis.Options{Addr:     "localhost:6379", // Redis 实例1的地址Password: "",               // Redis 密码,如果有的话DB:       0,                // 选择使用的数据库})redisClients["instance2"] = redis.NewClient(&redis.Options{Addr:     "localhost:6380", // Redis 实例2的地址Password: "",               // Redis 密码,如果有的话DB:       0,                // 选择使用的数据库})
}func generateID(key string, start int64) (int64, error) {val, err := redisClients[key].IncrBy(key, start).Result()if err != nil {return 0, err}return val, nil
}func main() {key1 := "distributed_id_generator_instance1" // Redis 实例1中的键名key2 := "distributed_id_generator_instance2" // Redis 实例2中的键名// 生成 5 个分布式 IDfor i := 0; i < 5; i++ {id1, err := generateID(key1, 1000) // 指定实例1的起始步长为1000if err != nil {log.Fatalf("Failed to generate ID: %v", err)}fmt.Printf("Instance 1 - Generated ID: %d\n", id1)id2, err := generateID(key2, 2000) // 指定实例2的起始步长为2000if err != nil {log.Fatalf("Failed to generate ID: %v", err)}fmt.Printf("Instance 2 - Generated ID: %d\n", id2)time.Sleep(time.Millisecond) // 可选的延迟,以避免生成相同的 ID}
}

5、使用数据库分段(Database Segment)

6、分布式键生成服务(如Zookeeper、etcd)

分布式协调服务在集群中生成唯一ID。
也是利用这些服务提供的分布式锁和原子性操作来生成唯一的ID。还有集群协调机制。

相关文章:

【分布式系统】唯一性ID的实现

1、UUID&#xff08;通用唯一标识符&#xff09; 1、UUID本身 一种用于标识信息的标准化方法。一个128位的数字&#xff0c;常表示为32个十六进制数字&#xff0c;以连字符分隔成五组&#xff1a;8-4-4-4-12。 版本&#xff1a; UUID有不同的版本&#xff0c;最常见的是基于时…...

哪里能找到好用的动物视频素材 优质网站推荐

想让你的短视频增添些活泼生动的动物元素&#xff1f;无论是搞笑的宠物瞬间&#xff0c;还是野外猛兽的雄姿&#xff0c;这些素材都能让视频更具吸引力。今天就为大家推荐几个超实用的动物视频素材网站&#xff0c;不论你是短视频新手还是老手&#xff0c;都能在这些网站找到心…...

SRAM芯片数据采集解决方案

SRAM芯片数据采集解决方案致力于提供一种高效、稳定且易于操作的方法&#xff0c;以确保从静态随机存取存储器SRAM芯片中准确无误地获取数据。 这种解决方案通常包括硬件接口和软件工具&#xff0c;它们协同工作&#xff0c;以实现对SRAM芯片的无缝访问和数据传输。 在硬件方…...

【贪心算法第七弹——674.最长连续递增序列(easy)】

目录 1.题目解析 题目来源 测试用例 2.算法原理 3.实战代码 代码分析 1.题目解析 题目来源 674.最长递增子序列——力扣 测试用例 2.算法原理 贪心思路 3.实战代码 class Solution { public:int findLengthOfLCIS(vector<int>& nums) {int n nums.size();in…...

[AI] 知之AI推出3D智能宠物:助力语言学习与口语提升的新选择

Hello! 知之AI官网 [AI] 知之AI推出3D智能宠物&#xff1a;助力语言学习与口语提升的新选择 随着人工智能技术的飞速发展&#xff0c;虚拟助手和智能设备不断进入我们的生活。近日&#xff0c;知之AI重磅推出了一款创新产品——3D智能宠物。这一产品不仅具备多国语言交流能力&…...

Android 14之HIDL转AIDL通信

Android 14之HIDL转AIDL通信 1、interface接口1.1 接口变更1.2 生成hidl2aidl工具1.3 执行hidl2aidl指令1.4 修改aidl的Android.bp文件1.5 创建路径1.6 拷贝生成的aidl到1和current1.7 更新与冻结版本1.8 编译模块接口 2、服务端代码适配hal代码修改2.1 修改Android.bp的hidl依…...

【R库包安装】R库包安装总结:conda、CRAN等

【R库包安装】R studio 安装rgdal库/BPST库 R studio 安装rgdal库解决方法 R studio 安装BPST库&#xff08;github&#xff09;解决方法方法1&#xff1a;使用devtools安装方法2&#xff1a;下载安装包直接在Rstudio中安装 参考 基础 R 库包的安装可参见另一博客-【R库包安装】…...

学习PMC要不要去培训班?

在当今快速变化的商业环境中&#xff0c;PMC作为供应链管理的核心环节之一&#xff0c;其重要性日益凸显。PMC不仅关乎产品的物料计划、采购、库存控制及物流协调&#xff0c;还直接影响到企业的生产效率、成本控制以及市场竞争力。面对这一专业领域的学习需求&#xff0c;许多…...

前端 用js封装部分数据结构

文章目录 Stack队列链表Setset 用来数组去重set用来取两个数组的并集set用来取两个数组的交集set用来取两个数组的差集 字典 Stack 栈&#xff0c;先进后出&#xff0c;后进先出。用数组来进行模拟&#xff0c;通过push存入&#xff0c;通过pop取出。 class Stack {// 带#表示…...

cocoscreator-doc-TS:目录

cocoscreator-doc-TS-脚本开发-访问节点和组件-CSDN博客 cocoscreator-doc-TS-常用节点和组件接口-CSDN博客 cocoscreator-doc-TS-脚本开发-创建和销毁节点-CSDN博客 cocoscreator-doc-TS-脚本开发-加载和切换场景-CSDN博客 cocoscreator-doc-TS-脚本开发-获取和设置资源-CS…...

理解Java集合的基本用法—Collection:List、Set 和 Queue,Map

本博文部分参考 博客 &#xff0c;强烈推荐这篇博客&#xff0c;写得超级全面&#xff01;&#xff01;&#xff01; 图片来源 Java 集合框架 主要包括两种类型的容器&#xff0c;一种是集合&#xff08;Collection&#xff09;&#xff0c;存储一个元素集合&#xff08;单列…...

IOC容器实现分层解耦

文章开始之前&#xff0c;先引入软件开发的两个名词&#xff1a;耦合和内聚。耦合是指&#xff1a;衡量软件中各个层&#xff08;三层架构&#xff09;/各个模块的依赖关联程度&#xff1b;内聚是指&#xff1a;软件中各个功能模块内部的功能联系。三层架构中Controller、Servi…...

Flutter 共性元素动画

在 Flutter 中&#xff0c;共性元素动画&#xff08;Shared Element Transitions&#xff09;用于在页面导航或组件切换时创建视觉上更流畅和连贯的动画效果。这种动画可以使用户感受到两个界面之间的“物理联系”&#xff0c;比如图片从缩略图到全屏的扩大效果。 前置知识点整…...

K8s内存溢出问题剖析:排查与解决方案

文章目录 一、背景二、排查方案&#xff1a;1. 可能是数据量超出了限制的大小&#xff0c;检查数据目录大小2. 查看是否是内存溢出2.1 排查数据量&#xff08;查看数据目录大小是否超过limit限制&#xff09;2.2 查看pod详情发现问题 三、解决过程 一、背景 做redis压测过程中…...

乌班图单机(不访问外网)部署docker和服务的方法

面向对象:Ubuntu不能访问外网的机子,部署mysql、redis、jdk8、minio 过程: 1、安装docker(照着图去这里找对应的下载下来https://download.docker.com/linux/static/stable/),将7个docker官网下载的文件下载下来后,传上去服务器随便一个文件夹或者常用的opt或者/usr/lo…...

使用 pycharm 新建使用 conda 虚拟 python 环境的工程

1. conda 常见命令复习&#xff1a; conda env list // 查看 conda 环境列表 conda activate xxxenv // 进入指定 conda 环境2. 环境展示&#xff1a; 2.1. 我的物理环境的 Python 版本为 3.10.9&#xff1a; 2.2. 我的 conda 虚拟环境 env_yolov9_python_3_8 中的 pyth…...

Docker的save和export命令的区别,load和import的区别 笔记241124

Docker的save和export命令的区别,load和import的区别 解说1: Docker的save和export命令&#xff0c;以及load和import命令&#xff0c;在功能和使用场景上存在显著的区别。以下是对这两组命令的详细对比和解释&#xff1a; Docker save和export命令的区别 使用方式和目的&am…...

通俗理解人工智能、机器学习和深度学习的关系

最近几年人工智能成为极其热门的概念和话题&#xff0c;可以说彻底出圈了。但人工智能的概念在1955年就提出来了&#xff0c;可以说非常古老。我在上小学的时候《科学》课本上就有人工智能的概念介绍&#xff0c;至今还有印象&#xff0c;但那些年AI正处于“寒冬”&#xff0c;…...

使用 pycharm 新建不使用 python 虚拟环境( venv、conda )的工程

有时候我们发现一个好玩的 demo&#xff0c;想赶快在电脑上 pip install 一下跑起来&#xff0c;发现因为 python 的 venv、conda 环境还挺费劲的&#xff0c;因为随着时间的发展&#xff0c;之前记得很清楚的 venv、conda 的用法&#xff0c;不经常使用&#xff0c;半天跑不起…...

【大数据学习 | Spark-SQL】SparkSQL读写数据

我们使用sparksql进行编程&#xff0c;编程的过程我们需要创建dataframe对象&#xff0c;这个对象的创建方式我们是先创建RDD然后再转换rdd变成为DataFrame对象。 但是sparksql给大家提供了多种便捷读取数据的方式。 //原始读取数据方式 sc.textFile().toRDD sqlSc.createDat…...

AceCommon:Arduino嵌入式零堆分配轻量C++工具库

1. AceCommon 库概述&#xff1a;面向嵌入式 Arduino 的轻量级底层工具集AceCommon 是一个专为资源受限的微控制器平台&#xff08;尤其是 Arduino 生态&#xff09;设计的零依赖、低开销 C 工具库。其核心设计哲学是“小而精、无侵入、可复用”。与常见的功能臃肿、依赖繁杂的…...

【国家级等保2.0合规必读】:Python扩展模块安全开发规范(含12项强制检查项+自动化检测脚本)

第一章&#xff1a;Python扩展模块安全开发概述Python 扩展模块&#xff08;C/C 编写的 .so/.dll 文件&#xff09;是提升性能、复用底层库或与系统交互的关键手段&#xff0c;但其直接操作内存、绕过 Python 运行时保护机制的特性&#xff0c;也使其成为安全风险的高发区。开发…...

抖音批量下载终极指南:免费无水印视频一键获取

抖音批量下载终极指南&#xff1a;免费无水印视频一键获取 【免费下载链接】douyin-downloader 项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader 你是否曾为保存喜欢的抖音视频而烦恼&#xff1f;面对心仪的内容创作者&#xff0c;想要收藏他们的…...

从串口通信到内存总线:手把手拆解‘波特率’、‘比特率’与‘总线带宽’的异同与实战计算

从串口通信到内存总线&#xff1a;深度解析波特率、比特率与总线带宽的实战差异 在嵌入式开发和计算机体系结构领域&#xff0c;数据传输速率的计算是工程师日常工作中无法绕开的基础技能。但令人困惑的是&#xff0c;同样的"速率"概念在不同场景下却有着完全不同的…...

实用扩散模型完整指南:100行代码实现高效图像生成

实用扩散模型完整指南&#xff1a;100行代码实现高效图像生成 【免费下载链接】Diffusion-Models-pytorch Pytorch implementation of Diffusion Models (https://arxiv.org/pdf/2006.11239.pdf) 项目地址: https://gitcode.com/gh_mirrors/di/Diffusion-Models-pytorch …...

Hutool CronUtil实战:5分钟搞定Spring Boot定时任务(含动态任务配置)

Hutool CronUtil实战&#xff1a;5分钟搞定Spring Boot定时任务&#xff08;含动态任务配置&#xff09; 在Java开发领域&#xff0c;定时任务几乎是每个项目都绕不开的基础需求。传统方案如Spring Scheduler虽然简单易用&#xff0c;但在动态任务管理和细粒度控制方面往往力不…...

实战构建开放数据可视化平台,从采集到展示的全流程开发指南

今天想和大家分享一个完整的开放数据可视化项目实战经验。这个项目从数据采集到最终展示&#xff0c;涵盖了全流程开发的关键环节&#xff0c;特别适合想积累真实项目经验的朋友参考。 项目背景与目标 开放数据正在成为数字化转型的重要资源&#xff0c;但很多开发者面对海量…...

告别官方包:手把手教你为遗留项目编译一个“增强版”Qt5.15.17

告别官方包&#xff1a;手把手教你为遗留项目编译一个“增强版”Qt5.15.17 当官方支持终止后&#xff0c;维护基于Qt5的遗留项目就像在悬崖边行走——你需要稳定性&#xff0c;但又渴望那些关键补丁和完整功能。本文将带你深入探索如何为团队构建一个功能完备的私有Qt工具链&am…...

若依框架单点登录!!!

一、不分离版在application.yml设置maxSession为1即可。修改shiro的配置shiro:session:# 同一个用户最大会话数&#xff0c;比如2的意思是同一个账号允许最多同时两个人登录&#xff08;默认-1不限制&#xff09;maxSession: 1# 踢出之前登录的/之后登录的用户&#xff0c;默认…...

便携激光云高仪:精确测量云底高度、云层厚度等关键参数

便携激光云高仪是一种用于测量云层高度、厚度及分布情况的气象观测设备&#xff0c;广泛应用于气象监测、航空安全、环境研究等领域。其便携式设计特别适合野外作业和临时观测需求。设备通过激光脉冲探测云底高度&#xff0c;并实时分析云层垂直结构&#xff0c;为气象预报、灾…...