[Go]-抢购类业务方案

文章目录
- 要点:
- 1. 抢购/秒杀业务的关键挑战
- 2. 技术方案
- 3.关键实现点
- 4.性能优化建议
- 5.其他考虑因素
- 细节拆分:
- 1. **高并发处理**
- 2.**限流与防护**
- 3.**库存控制**
- 4. **异步处理**
- 5. **数据一致性**
- 6. **常用架构设计**
- 7. **代码示例**
- 8. 进一步优化
- 9. 注意事项
抢购类业务常用于促销活动,如热销白酒、大月饼、低价显卡、抢票,用户是想挤进去抢到东西,商家端是吸引更多的流量,但是东西就是固定数额,肯定不想被恶意刷单或者超卖等场景,
这就对系统有强烈要求,这类业务需要处理高并发请求,以确保系统的稳定性和公平性,同时避免超卖现象。
抢购类业务(如秒杀)是一种在限定时间内,以极低的价格向消费者提供少量商品的促销活动。
Go语言在此类业务中有相当的优势,内存消耗低,天生支持并发,还可以离线打包,做一些小工具很方便。
公司业务中,防止频繁搜索,爬虫等,会用到令牌桶,进行限流;增减库存、消息队列、锁等,自己遇到的毕竟不全,列举下更多处理形式。
以下列举一些场景,和针对高并发的处理方式
要点:
1. 抢购/秒杀业务的关键挑战
- 高并发处理: 秒杀活动通常会吸引大量用户同时下单,服务器需要处理大量并发请求。
- 库存管理: 需要确保库存的准确性,避免超卖。
- 事务处理: 要保证多个操作的原子性,确保数据一致性。
2. 技术方案
- 缓存层: 利用Redis等缓存技术,将库存数据保存在缓存中,减少数据库的压力。
- 消息队列: 通过消息队列(如RabbitMQ、Kafka等)来削峰填谷,将高并发请求排队处理,避免服务器被瞬间击垮。
- 乐观锁/悲观锁: 使用数据库锁或乐观锁来保证库存的正确性和事务的完整性。
3.关键实现点
- Redis 原子操作:通过 Lua 脚本确保扣减库存和判断库存是否充足的操作在 Redis 中是原子性的。
- 并发模拟:使用
sync.WaitGroup模拟多个并发用户抢购。 - 库存管理:Redis 的
decr函数用于减少库存,并且确保不会超卖。
4.性能优化建议
- 本地缓存:使用内存缓存(如
sync.Map或 LRU 缓存)减少频繁的 Redis 访问。 - 读写分离:对高并发的读操作可以通过缓存层或数据库读写分离架构优化。
- CDN 加速:对于静态资源或非关键请求,可以通过 CDN 缓解服务器压力。
5.其他考虑因素
- 防止重复抢购:可以通过 Redis 的
setnx或数据库唯一索引避免用户多次抢购同一商品。 - 分布式锁:在高并发场景下,可以通过 Redis 分布式锁或数据库锁确保多个实例对库存的操作不会冲突。
- 请求日志和监控:记录用户请求日志和库存变化,便于监控和追踪问题。
细节拆分:
1. 高并发处理
抢购类业务通常伴随着大量并发请求。Go 语言的高并发处理能力让它在这种场景下非常适用。
-
goroutine 并发:Go 的 goroutine 可以轻松处理大规模并发。抢购时每个用户的请求可以用 goroutine 处理。
-
限流:为了防止服务器超载,可以引入限流机制。常见的限流方式包括:
- 漏桶算法:按固定速率处理请求,防止过多请求冲击系统。
- 令牌桶算法:允许一定程度的突发请求,超出限额后将请求拒绝。
Go 中可以使用第三方库如
golang.org/x/time/rate实现限流。
2.限流与防护
防止大量恶意请求和超高并发打垮系统,通常会采取以下策略:
- 接口限流:通过令牌桶算法、漏桶算法或 Redis 实现接口限流,控制每秒允许的请求数量。
- IP 限制:限制同一个 IP 的请求频率,防止 DDoS 攻击。
- 用户限流:对于每个用户设置抢购次数的限制,防止恶意刷单。
3.库存控制
抢购业务中,库存的控制非常关键,不能超卖或少卖。常用的方法有:
- 本地缓存库存:在抢购开始时将库存加载到应用层内存中进行扣减,以提高响应速度。用完库存后,再同步更新到数据库中。
- 分布式锁:在多个应用实例之间控制库存时,可以使用分布式锁来保证同一时间只有一个实例操作库存,防止超卖。可以通过 Redis 的
SETNX实现分布式锁,或使用诸如 Etcd、Zookeeper 等注册中心自带的锁机制。 - 乐观锁:通过数据库字段(如版本号或库存数量)进行更新时的版本控制来防止超卖。MySQL 支持通过
UPDATE操作中的WHERE条件来进行版本检查。 - **Lua脚本:**Redis 可以用来存储库存数据,并且通过 Lua 脚本实现原子性操作,避免超卖的情况。Redis 的高性能特性也非常适合高并发场景。
- 预减库存:当用户发起抢购请求时,先在 Redis 中预减库存,确保高并发情况下不会超卖。
- 最终库存确认:抢购成功后,再将最终的订单写入数据库,并从 Redis 中同步更新实际库存。如果用户未成功下单,Redis 中的库存会回滚。
4. 异步处理
抢购业务中,许多操作可以异步化处理,如订单生成、库存核减、用户通知等。
- 消息队列:可以将用户的抢购请求推入消息队列(如 Kafka、RabbitMQ),后续再异步处理订单生成和库存扣减。这样可以避免数据库的直接冲击,提高系统的稳定性。
- 异步任务队列:针对抢购结束后的订单处理和支付,可以使用异步任务队列(如 Celery)来处理非实时任务。
5. 数据一致性
为了确保数据在高并发下的一致性,需要控制并发修改的顺序和处理好数据库事务。
- 事务机制:在处理订单时,可以通过数据库的事务机制来保证库存扣减和订单生成的一致性。
- 分布式事务:在分布式架构下,通过 TCC (Try-Confirm-Cancel) 模式、2PC (Two-phase Commit) 或 SAGA 模式来保证分布式系统中的事务一致性。
- 分布式锁:如果多台服务器处理抢购订单,可以通过 Redis 分布式锁来保证同一时刻只有一台服务器操作库存数据,防止并发操作造成超卖。
6. 常用架构设计
抢购类业务的架构通常包括以下几部分:
- 前端限流:通过 Nginx 等代理服务器进行限流,过滤掉部分请求。
- 服务端限流:使用 Redis、令牌桶等方式在服务端进一步限流,防止请求压力过大。
- 库存预加载:将库存放入 Redis 或本地内存中进行预处理,以提高响应速度。
- 异步处理:将订单生成、库存扣减、用户通知等操作异步化处理,提升抢购效率。
- 数据持久化:最终将抢购结果持久化到数据库中,并同步更新库存信息。
7. 代码示例
以下是一个简单的Go实现,用Redis管理库存,并处理用户的抢购请求:
package mainimport ("fmt""github.com/go-redis/redis/v8""context""sync"
)var ctx = context.Background()func main() {rdb := redis.NewClient(&redis.Options{Addr: "localhost:6379",})// 初始化库存数量rdb.Set(ctx, "item_stock", 100, 0)// 模拟并发抢购var wg sync.WaitGroupfor i := 0; i < 200; i++ {wg.Add(1)go func(userID int) {defer wg.Done()err := purchaseItem(rdb, userID)if err != nil {fmt.Printf("User %d failed to purchase: %s\n", userID, err)} else {fmt.Printf("User %d successfully purchased the item.\n", userID)}}(i)}wg.Wait()
}// 处理抢购请求
func purchaseItem(rdb *redis.Client, userID int) error {// 乐观锁机制,减少库存err := rdb.Watch(ctx, func(tx *redis.Tx) error {stockStr, err := tx.Get(ctx, "item_stock").Result()if err != nil {return err}stock, err := strconv.Atoi(stockStr)if err != nil || stock <= 0 {return fmt.Errorf("Out of stock")}// 使用事务保证库存减少的原子性_, err = tx.TxPipelined(ctx, func(pipe redis.Pipeliner) error {pipe.Decr(ctx, "item_stock")return nil})return err}, "item_stock")return err
}
这个示例采用乐观锁,当然也可以采用Lua脚本配合Redis扣减库存(为了防止库存超卖,通常会使用 Redis 的原子操作 来实现库存扣减)
// Redis 脚本实现原子扣减库存
local inventory = redis.call('GET', KEYS[1])
if (tonumber(inventory) <= 0) thenreturn 0
end
redis.call('DECR', KEYS[1])
return 1
8. 进一步优化
- 防止重复下单: 利用Redis的
SETNX命令可以防止用户重复下单。 - 分布式锁: 在分布式系统中,使用Redis的分布式锁机制,确保只有一个请求能修改库存。
- 动态限流: 利用令牌桶等算法对并发请求进行限流,防止流量瞬间过载。
9. 注意事项
- 幂等性: 秒杀系统中,每个操作必须是幂等的,以防止因网络延迟或重试机制造成数据的不一致。
- 数据库优化: 针对热点数据表的读写,需要做好索引优化、分库分表等设计。
通过这些手段,能够有效地提高抢购类业务的性能和稳定性。
相关文章:
[Go]-抢购类业务方案
文章目录 要点:1. 抢购/秒杀业务的关键挑战2. 技术方案3.关键实现点4.性能优化建议5.其他考虑因素 细节拆分:1. **高并发处理**2.**限流与防护**3.**库存控制**4. **异步处理**5. **数据一致性**6. **常用架构设计**7. **代码示例**8. 进一步优化9. 注意…...
Android 源码多个Launcher设置默认Launcher
目录 第一部分、android10之前 一.多个launcher 启动设置默认launcher的核心类 二 在自定义服务里面设置默认Launcher 第二部分、android10之后 一、Launcher应用内置并设置为默认Launcher 1.通过ResolverActivity.java设置为默认Launcher 改法一: 改法二&am…...
计算机毕业设计 网上体育商城系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试
🍊作者:计算机编程-吉哥 🍊简介:专业从事JavaWeb程序开发,微信小程序开发,定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事,生活就是快乐的。 🍊心愿:点…...
深度学习中实验、观察与思考的方法与技巧
在深度学习中,实验、观察与思考是理解和改进模型性能的关键环节。以下是一些有效的方法与技巧,可以帮助你在深度学习实践中系统性地开展实验、分析结果并进行深入思考: 1. 明确实验目标 在开始实验前,确保对实验的目标有清晰的定…...
记一次 FastDFS 存储节点迁移:基于 scp 的实践与经验分享
一、背景 某某项目,机房到期,需要迁移至其他机房; 此项目已经运行了3年多,fastdfs累计数据大概在250G 左右,现需要把旧的fastdfs数据迁移到新的fastdfs上; 采用scp物理迁移数据的方式,停机迁移…...
http连接github远程仓库密码问题解决办法
目录 一、问题:使用http连接失败 二、解决办法:使用个人访问令牌。 1、生成访问令牌: 步骤 1: 登录 GitHub 步骤 2: 进入设置页面 步骤 3: 生成新的访问令牌 步骤 4: 配置访问令牌 步骤 5: 复制令牌 2. 使用访问令牌 一、问题&#…...
LAMP环境下项目部署
目录 目录 1、创建一台虚拟机 centos 源的配置 备份源 修改源 重新加载缓存 安装软件 2、关闭防火墙和selinux 查看防火墙状态 关闭防火墙 查看SELinux的状态 临时关闭SELinux 永久关闭SELinux:编辑SELinux的配置文件 配置文件的修改内容 3、检查系统…...
Visual Studio 2022从外部引入dll导致的问题
这里以我学MapGIS二次开发的一个小demo为例 一、如何引入dll 1、在解决方案资源管理器中,有个引用的选项 2、然后右键点击添加引用 点击之后会出现如下: 3、点击浏览选项,选择想要引入dll的路径,这里我选择下载MapGIS 10的路径 …...
大模型从失败中学习 —— 微调大模型以提升Agent性能
人工智能咨询培训老师叶梓 转载标明出处 以往的研究在微调LLMs作为Agent时,通常只使用成功的交互轨迹,而丢弃了未完成任务的轨迹。这不仅造成了数据和资源的浪费,也可能限制了微调过程中可能的优化路径。论文《Learning From Failure: Integ…...
10.web应用体系以及windows网络常见操作应用
一、Dos命令 1.启动方式:winR,输入cmd 2.切换盘符/路径:盘符名称: (C:) cd 目录 (cd B111)(目录名按table键自动补全) 3.查看目录:dir dir /p 分页展示目录及…...
【数据结构与算法 | 灵神题单 | 前后指针(链表)篇】力扣19, 61,1721
1. 力扣19:删除链表的倒数第N个节点 1.1 题目: 给你一个链表,删除链表的倒数第 n 个结点,并且返回链表的头结点。 示例 1: 输入:head [1,2,3,4,5], n 2 输出:[1,2,3,5]示例 2: …...
机器学习之实战篇——MNIST手写数字0~9识别(全连接神经网络模型)
机器学习之实战篇——Mnist手写数字0~9识别(全连接神经网络模型) 文章传送MNIST数据集介绍:实验过程实验环境导入模块导入MNIST数据集创建神经网络模型进行训练,测试,评估模型优化 文章传送 机器学习之监督学习&#…...
ICLR2024: 大视觉语言模型中对象幻觉的分析和缓解
https://arxiv.org/pdf/2310.00754 https://github.com/YiyangZhou/LURE 背景 对象幻觉:生成包含图像中实际不存在的对象的描述 早期的工作试图通过跨不同模式执行细粒度对齐(Biten et al.,2022)或通过数据增强减少对象共现模…...
数据库系统 第54节 数据库优化器
数据库优化器是数据库管理系统(DBMS)中的一个关键组件,它的作用是分析用户的查询请求,并生成一个高效的执行计划。这个执行计划定义了如何访问数据和执行操作,以最小化查询的执行时间和资源消耗。以下是数据库优化器的…...
微服务杂谈
几个概念 还是第一次听说Spring Cloud Alibaba ,真是孤陋寡闻了,以前只知道 SpringCloud 是为了搭建微服务的,spring boot 则是快速创建一个项目,也可以是一个微服务 。那么SpringCloud 和 Spring boot 有什么区别呢?S…...
【Pandas操作2】groupby函数、pivot_table函数、数据运算(map和apply)、重复值清洗、异常值清洗、缺失值处理
1 数据清洗 #### 概述数据清洗是指对原始数据进行处理和转换,以去除无效、重复、缺失或错误的数据,使数据符合分析的要求。#### 作用和意义- 提高数据质量:- 通过数据清洗,数据质量得到提升,减少错误分析和错误决策。…...
如何分辨IP地址是否能够正常使用
在互联网的日常使用中,无论是进行网络测试、网站访问、数据抓取还是远程访问,一个正常工作的IP地址都是必不可少的。然而,由于各种原因,IP地址可能无法正常使用,如被封禁、网络连接问题或配置错误等。本文将详细介绍如…...
Sqoop 数据迁移
Sqoop 数据迁移 一、Sqoop 概述二、Sqoop 优势三、Sqoop 的架构与工作机制四、Sqoop Import 流程五、Sqoop Export 流程六、Sqoop 安装部署6.1 下载解压6.2 修改 Sqoop 配置文件6.3 配置 Sqoop 环境变量6.4 添加 MySQL 驱动包6.5 测试运行 Sqoop6.5.1 查看Sqoop命令语法6.5.2 测…...
【数据结构】排序算法系列——希尔排序(附源码+图解)
希尔排序 算法思想 希尔排序(Shell Sort)是一种改进的插入排序算法,希尔排序的创造者Donald Shell想出了这个极具创造力的改进。其时间复杂度取决于步长序列(gap)的选择。我们在插入排序中,会发现是对整体…...
c++(继承、模板进阶)
一、模板进阶 1、非类型模板参数 模板参数分类类型形参与非类型形参。 类型形参即:出现在模板参数列表中,跟在class或者typename之类的参数类型名称。 非类型形参,就是用一个常量作为类(函数)模板的一个参数,在类(函数)模板中…...
ZephyrOS--实战Bluetooth LE心率监测
1. 从零开始搭建ZephyrOS开发环境 第一次接触ZephyrOS时,我花了整整两天时间才把开发环境搭好。现在回想起来,其实只要掌握几个关键步骤就能避开那些坑。这里我以nRF52开发板为例,带你快速搭建起心率监测项目的开发环境。 首先需要安装Zephyr…...
高密度PCB贴装实战:如何用模块化治具解决0.3mm间距元件定位难题
高密度PCB贴装实战:模块化治具在0.3mm间距元件定位中的创新应用 当智能手表的PCB板面积缩小到指甲盖大小时,上面的0402元件间距已经突破0.3mm极限——这相当于在1元硬币上精准摆放50根头发丝。消费电子微型化浪潮下,传统治具的定位误差正在吞…...
掌握Web AR开发:从痛点到实战的AR.js技术指南
掌握Web AR开发:从痛点到实战的AR.js技术指南 【免费下载链接】AR.js Image tracking, Location Based AR, Marker tracking. All on the Web. 项目地址: https://gitcode.com/gh_mirrors/arj/AR.js Web AR开发痛点与解决方案 开发增强现实应用时࿰…...
brpc连接池动态调整算法:基于排队理论的设计与实现
brpc连接池动态调整算法:基于排队理论的设计与实现 【免费下载链接】brpc brpc is an Industrial-grade RPC framework using C Language, which is often used in high performance system such as Search, Storage, Machine learning, Advertisement, Recommendat…...
开源编解码工具技术选型与实战指南:跨场景应用的H.264解决方案
开源编解码工具技术选型与实战指南:跨场景应用的H.264解决方案 【免费下载链接】openh264 Open Source H.264 Codec 项目地址: https://gitcode.com/gh_mirrors/op/openh264 一、价值定位:为什么开源编解码工具是技术选型的最优解 在视频技术快…...
注意力机制融合新范式:从GCNet与DANet看全局建模的演进与实战
1. 视觉注意力机制的进化之路 记得我第一次接触视觉注意力机制是在2016年,那时ResNet刚掀起深度学习的新浪潮。当时最让我困惑的是:为什么神经网络需要"注意力"?后来在ImageNet数据集上做实验时才明白,传统CNN就像近视眼…...
CREST:如何用5分钟开启分子构象探索之旅?
CREST:如何用5分钟开启分子构象探索之旅? 【免费下载链接】crest Conformer-Rotamer Ensemble Sampling Tool based on the xtb Semiempirical Extended Tight-Binding Program Package 项目地址: https://gitcode.com/gh_mirrors/crest/crest 在…...
突破性SLAM实战:如何用SLAM Toolbox彻底改变机器人定位与建图工作流
突破性SLAM实战:如何用SLAM Toolbox彻底改变机器人定位与建图工作流 【免费下载链接】slam_toolbox Slam Toolbox for lifelong mapping and localization in potentially massive maps with ROS 项目地址: https://gitcode.com/gh_mirrors/sl/slam_toolbox …...
从51job爬虫案例出发,聊聊如何用Selenium优雅地绕过前端反爬机制
从51job爬虫案例解析Selenium反反爬高阶策略 当招聘网站的前端技术不断升级,传统爬虫手段逐渐失效时,如何让自动化工具的行为更像真实用户?这个问题困扰着许多中高级开发者。以51job为例,其动态加载、URL不变的设计让常规爬虫束手…...
【Java 面试突击 · 06】从抽象类与接口辨析到 AQS 与线程池底层原理解析
目录 1. 简述抽象类与接口的区别 2. 简述内部类及其作用 3. Java 中的 AQS 了解吗? 4. Synchronized 的偏向锁、轻量级锁、重量级锁 5. Thread 和 Runnable 的区别? 6. 泛型中 extends 和 super 的区别? 7. JVM 内存中哪些是线程共享区…...
