SpringBoot分布式定时任务实战:告别重复执行的烦恼
场景再现:你刚部署完基于SpringBoot的集群服务,凌晨3点突然收到监控告警——优惠券发放量超出预算两倍!检查日志发现,两个节点同时执行了定时任务。这种分布式环境下的定时任务难题,该如何彻底解决?
本文将手把手带你攻克这些难题:
- 剖析传统@Scheduled注解在分布式环境失效的根源
- 实战演示三种主流分布式定时任务方案
- 生产环境避坑指南与性能优化建议
一、为什么单机方案在分布式环境下失效?
当我们的服务以集群方式部署时,每个节点的定时任务都会独立运行。这会导致:
- 重复任务执行导致业务异常(如重复扣款)
- 数据库被多个节点同时操作引发锁冲突
- 无法实现任务的动态扩容缩容
二、五大分布式定时任务方案选型
| 方案 | 实现难度 | 可靠性 | 功能丰富度 | 适用场景 |
|---|---|---|---|---|
| 数据库锁 | ★★☆☆☆ | ★★☆☆☆ | ★☆☆☆☆ | 小型项目快速实现 |
| Redis分布式锁 | ★★★☆☆ | ★★★☆☆ | ★★☆☆☆ | 轻量级任务调度 |
| Zookeeper选举 | ★★★★☆ | ★★★★☆ | ★★☆☆☆ | 强一致性场景 |
| Quartz集群 | ★★★★☆ | ★★★★☆ | ★★★★★ | 企业级复杂调度 |
| Elastic-Job | ★★★☆☆ | ★★★★★ | ★★★★★ | 互联网高并发场景 |
结论:推荐Elastic-Job(功能强大)或Spring Scheduler + Redis分布式锁(轻量快速)
三、方案一:Elastic-Job + SpringBoot实战
3.1 引入Maven依赖
<!-- ElasticJob-Lite -->
<dependency><groupId>org.apache.shardingsphere.elasticjob</groupId><artifactId>elasticjob-lite-spring-boot-starter</artifactId><version>3.0.3</version>
</dependency>
3.2 配置Zookeeper注册中心
elasticjob:reg-center:server-lists: localhost:2181namespace: elasticjob-demo
3.3 实现定时任务类
public class OrderTimeoutJob implements SimpleJob {@Overridepublic void execute(ShardingContext context) {// 获取当前分片参数int shardIndex = context.getShardingItem();// 分片策略示例:按订单ID取模分片List<Long> orderIds = fetchTimeoutOrders(shardIndex);orderIds.forEach(this::cancelOrder);}private List<Long> fetchTimeoutOrders(int shard) {// 实现分片查询逻辑return orderRepository.findTimeoutOrders(shard);}
}
关键配置参数:
jobs:orderTimeoutJob:elasticJobClass: com.example.OrderTimeoutJobcron: 0 0/5 * * * ?shardingTotalCount: 3overwrite: true
四、方案二:Spring Scheduler + Redis分布式锁
4.1 实现Redis锁工具类
public class RedisDistributedLock {private static final String LOCK_PREFIX = "schedule:lock:";private static final int LOCK_EXPIRE = 30;@Autowiredprivate StringRedisTemplate redisTemplate;public boolean tryLock(String lockKey) {String key = LOCK_PREFIX + lockKey;return redisTemplate.opsForValue().setIfAbsent(key, "locked", LOCK_EXPIRE, TimeUnit.SECONDS);}public void unlock(String lockKey) {redisTemplate.delete(LOCK_PREFIX + lockKey);}
}
4.2 定时任务增强实现
@Component
public class CouponExpireJob {@Autowiredprivate RedisDistributedLock redisLock;@Scheduled(cron = "0 0 3 * * ?")public void processExpiredCoupons() {if (!redisLock.tryLock("couponJob")) {return;}try {// 真正的业务逻辑couponService.processExpired();} finally {redisLock.unlock("couponJob");}}
}
五、生产环境避坑指南
- 时钟同步问题:所有节点必须使用NTP同步时间
- 锁过期时间:预估任务最大执行时间,建议设置超时时间的1.5倍
- 故障转移:使用Elastic-Job时开启故障转移配置
jobs:myJob:failover: true - 动态扩容:Elastic-Job支持运行时修改分片数量
- 监控告警:集成Prometheus监控任务执行情况
六、性能优化建议
- 分片策略优化:根据数据特征选择哈希分片或区间分片
- 批量处理:每次处理100-500条数据,避免大事务
- 异步执行:耗时操作放入线程池异步处理
- 索引优化:任务查询的SQL必须走索引
- 日志精简:关闭不必要的调试日志,保留关键操作日志
技术选型建议:
- 中小型项目:Spring Scheduler + Redis锁
- 大型分布式系统:Elastic-Job
- 遗留系统改造:Quartz集群
最终解决方案没有银弹,根据团队技术储备和业务场景灵活选择。建议从简单方案入手,随着业务发展逐步演进架构。
相关文章:
SpringBoot分布式定时任务实战:告别重复执行的烦恼
场景再现:你刚部署完基于SpringBoot的集群服务,凌晨3点突然收到监控告警——优惠券发放量超出预算两倍!检查日志发现,两个节点同时执行了定时任务。这种分布式环境下的定时任务难题,该如何彻底解决? 本文将…...
AI+金融 应用 使用DeepSeek、Qwen等大模型输入自然语言,得到通达信等行情软件公式代码,导入后使用
AI金融 应用 使用DeepSeek、Qwen等大模型输入自然语言,得到通达信等行情软件公式代码,导入后使用。不会编程,也能行情软件中实现个性化条件选股,个性化技术指标。 AIbxm低估值趋势选股策略,参考提示词: 编…...
C++20 中的同步输出流:`std::basic_osyncstream` 深入解析与应用实践
文章目录 一、std::basic_osyncstream 的背景与动机二、std::basic_osyncstream 的基本原理三、std::basic_osyncstream 的使用方法(一)基本用法(二)多线程环境下的使用(三)与文件流的结合 四、std::basic_…...
Android 关于compose的一些坑和理解
** 1.如何在 WindowManager.addView 中使用 Jetpack Compose** 一、引出问题 Android 开发中,很常见的一个场景,通过 WindowManager.addView() 添加一个 View 到屏幕上。Android 最新的视图框架 Jetpack Compose,如何应用进来。这个被添加的…...
LeetCode 30 —— 30.串联所有单词的子串
题目: 给定一个字符串 s 和一些长度相同的单词 words。找出 s 中恰好可以由 words 中所有单词串联形成的子串的起始位置。 注意子串要与 words 中的单词完全匹配,中间不能有其他字符,但不需要考虑 words 中单词串联的顺序。 示例 1ÿ…...
go语言中的strings库
strings库 func EqualFold func EqualFold(s, t string) bool判断两个utf-8编码字符串(将unicode大写、小写、标题三种格式字符视为相同)是否相同。 func main() {fmt.Println(strings.EqualFold("hello", "hello")) //truefmt.…...
【嵌入式硬件】三款DCDC调试笔记
关于开关电源芯片,重点关注输入电源范围、输出电流、最低压降。 1.MP9943: 以MP9943为例,输入电压范围4-36V,输出最大电流3A,最低压降为0.3V 调整FB使正常输出为5.06V 给定6V空载、5V空载、5V带2A负载的情况: 6V带2A…...
Cannot find module @rollup/rollup-win32-x64-msvc
方法1 在package.json中添加postinstall: "scripts": {"postinstall": "node -e \"const { platform } process; if (platform win32) { require(child_process).execSync(npm install rollup/rollup-win32-x64-msvc, { stdio: inherit });…...
Linux中修改文件的权限用什么命令?
一、核心语法 chmod [选项] [权限模式] 文件名二、权限模式详解 1. 数字模式(推荐使用) 通过rwx权限对应的数值组合: r(读)→ 4w(写)→ 2x(执行)→ 1无权限 → 0 组合规…...
【FPGA开发】FPGA点亮LED灯(增加按键暂停恢复/复位操作)
目录 一、VScode下载安装 1.1 官网下载 1.2 安装插件 二、LED流水灯点亮 2.1 任务说明 2.2 新建项目 2.3 创建Verilog文件添加至顶层实体 2.4 引脚分配 2.5 选择烧录器 2.6 添加烧录文件&下载 2.7 烧录结果 三、增加按键操作 3.1 按键暂停和恢复功能&…...
companion object和object 从kotlin转java分析
说明 companion object 中 companion类中的方法是普通的方法 在外部类中生成静态变量,静态companion 对象 object MyClass2 中 类中方法是普通方法 在MyClass2中生成静态变量,静态MyClass2对象, 一 companion object 使用 kotlin转java pa…...
Spring MVC 执行流程:一个请求在 Spring MVC 中是如何执行的?
当用户发送一个 HTTP 向 Spring MVC 应用,该请求在 Spring MVC 的执行流程如下: 当用户向 Spring MVC 发起一个 HTTP 请求,该请求会被 Dispatcher Servlet(前端控制器)拦截;DispatcherServlet 调用 Handler…...
三主热备架构
1.要求 角色主机名软件IP地址用户client192.168.72.90keepalivedvip192.168.72.100masterserverAkeepalived, nginx192.168.72.30backupserverBkeepalived, nginx192.168.72.31backupserverCkeepalived, nginx192.168.72.32webtomcat1tomcat192.168.72.41webtomcat2tomcat192.1…...
HTML 表单处理进阶:验证与提交机制的学习心得与进度(二)
步步为营:表单提交机制全面解析 提交方式详解 GET 与 POST 对比 在 HTML 表单提交中,GET 和 POST 是最为常用的两种提交方式,它们在诸多方面存在显著差异。 安全性:GET 方式将表单数据附加在 URL 的查询字符串中,数…...
JavaScript | 爬虫逆向 | 语法基础| 01
一、摘要 实践是最好的导师 二、环境配置 在开始之前,需要确保你的计算机上已经安装了 Node.js。Node.js 是一个开源的、跨平台的 JavaScript 运行时环境,它允许你在服务器端运行 JavaScript 代码。 1. 下载 安装地址:https://nodejs.org…...
python解决多个矢量点图层合并为一个点图层
1、解决矢量点图层的合并 2、解决多个点图层分别合并为不同图层(一个文件夹下所有点图层合并为一个图层,以下代码为两个文件夹,分别合并为两个总的图层) import geopandas as gpd import os import pandas as pddef merge_shapef…...
VL开源模型实现文本生成图片
一、 基础知识 根据描述生成图片的视觉-语言模型(Vision-Language Models, VL 模型)是近年来多模态生成领域的热点研究方向。这些模型能够根据自然语言描述生成高质量的图像,广泛应用于艺术创作、设计辅助、虚拟场景构建等领域。 1 根据描述…...
字节跳动实习生主导开发强化学习算法,助力大语言模型性能突破
目录 禹棋赢的背景与成就 主要成就 DAPO算法的技术细节 算法优势 禹棋赢的研究历程 关键时间节点 字节跳动的“Top Seed人才计划” 计划特点 小编总结 在大模型时代,经验不再是唯一的衡量标准,好奇心、执行力和对新技术的敏锐洞察力成为推动技术…...
九、JavaScript作用域、预解析
一、JavaScript作用域 1.JavaScript作用域 ①代码名字(变量)在某个范围内起作用和效果 目的是为了提高程序的可靠性更重要的是减少命名冲突 ②js的作用域(es6)之前:全局作用域 局部作用域 ③全局作用域:整…...
前后端+数据库的项目实战:hbu迎新网-较复杂(下)javaweb
目录 十一、实现对内容的富文本编辑(换行、图片颜色等等样式) (1)下载富文本编辑器,引入资源 (2)将原项目的内容部分替换为富文本编辑器 1、替换添加页面 2、替换修改页面(和添…...
Java-模块二-2
整数类型 byte:在 Java 中占用8位(1字节),因此它的取值范围是从 -128 到 127。这是最小的整数类型,适合用于节省空间的情况。 short:这种类型的大小是16位(2字节),允许的…...
Redis、Memcached应用场景对比
环境 Redis官方网站: Redis - The Real-time Data Platform Redis社区版本下载地址:Install Redis | Docs Memcached官方网站:memcached - a distributed memory object caching system Memcached下载地址:memcached - a dis…...
【单片机通信技术应用——学习笔记三】液晶屏显示技术,取模软件的应用
一、液晶显示技术简介 1.RGB信号线 RGB是一种色彩模式,是工业界的一种颜色标准,是通过红(R)、绿(G)、蓝(B)三个颜色通道的变化,以及它们相互之间的叠加来得到各式各样的…...
MySQL颠覆版系列————MySQL新特性(开启数据库的新纪元)上篇
文章目录 前言一、窗口函数(Window Functions)1.1 窗口函数概念1.2 常见的窗口函数 二、公用表表达式(Common Table Expressions, CTEs)2.1 公用表表达式的概念2.2 常见的公用表表达式 三、JSON增强3.1 JSON增强的概念3.2 常见的J…...
MySQL 调优:查询慢除了索引还能因为什么?
文章目录 情况一:连接数过小情况二:Buffer Pool 太小 MySQL 查询慢除了索引还能因为什么?MySQL 查询慢,我们一般也会想到是因为索引,但除了索引还有哪些原因会导致数据库查询变慢呢? 以下以 MySQL 中一条 S…...
Java实习生面试题(2025.3.23 be)
一、v-if与v-show的区别 v-show 和 v-if 都是 Vue 中的条件渲染指令,它们的主要区别在于渲染策略:v-if 会根据条件决定是否编译元素,而 v-show 则始终编译元素,只是通过改变 CSS 的 display 属性来控制显示与隐藏。 二、mybatis-…...
如何在百度搜索上删除与自己名字相关的资料
个人信息的网络足迹如同一张无形的网,将我们与世界的每一个角落紧密相连。然而,当某些与自己名字相关的资料不再希望被公众轻易检索到时,如何在百度搜索中有效“隐身”,成为了一个亟待解决的问题。面对复杂多变的网络环境…...
【C语言】C语言使用随机数srand,rand
C语言使用随机数srand,rand 可直接编译使用: #include <stdio.h> #include <time.h> #include <stdlib.h> #include <unistd.h>/* c语言提供的跟随机数有关的函数:int rand(void);返回值:产生的随机数void srand(unsiqned int seed);参数…...
为容器指定固定IP地址
文章目录 为容器指定固定IP地址可以通过以下步骤实现,适用于Docker环境:**方法一:使用Docker自定义桥接网络****方法二:Docker Compose配置****关键注意事项** 为容器指定固定IP地址可以通过以下步骤实现,适用于Docker…...
kube-score K8S Yaml静态代码分析工具详解
kube-score 是一款专注于 Kubernetes 配置文件的静态代码分析工具,旨在通过自动化检查帮助用户识别资源配置中的潜在问题,并遵循最佳实践以提升集群的安全性、稳定性和性能。以下是其核心功能、使用方法和应用场景的详细解析: 一、核心功能与…...
