当前位置: 首页 > article >正文

SpringBoot分布式定时任务实战:告别重复执行的烦恼

场景再现:你刚部署完基于SpringBoot的集群服务,凌晨3点突然收到监控告警——优惠券发放量超出预算两倍!检查日志发现,两个节点同时执行了定时任务。这种分布式环境下的定时任务难题,该如何彻底解决?

本文将手把手带你攻克这些难题:

  • 剖析传统@Scheduled注解在分布式环境失效的根源
  • 实战演示三种主流分布式定时任务方案
  • 生产环境避坑指南与性能优化建议

一、为什么单机方案在分布式环境下失效?

当我们的服务以集群方式部署时,每个节点的定时任务都会独立运行。这会导致:

  1. 重复任务执行导致业务异常(如重复扣款)
  2. 数据库被多个节点同时操作引发锁冲突
  3. 无法实现任务的动态扩容缩容

二、五大分布式定时任务方案选型

方案实现难度可靠性功能丰富度适用场景
数据库锁★★☆☆☆★★☆☆☆★☆☆☆☆小型项目快速实现
Redis分布式锁★★★☆☆★★★☆☆★★☆☆☆轻量级任务调度
Zookeeper选举★★★★☆★★★★☆★★☆☆☆强一致性场景
Quartz集群★★★★☆★★★★☆★★★★★企业级复杂调度
Elastic-Job★★★☆☆★★★★★★★★★★互联网高并发场景

结论:推荐Elastic-Job(功能强大)或Spring Scheduler + Redis分布式锁(轻量快速)


三、方案一:Elastic-Job + SpringBoot实战

3.1 引入Maven依赖
<!-- ElasticJob-Lite -->
<dependency><groupId>org.apache.shardingsphere.elasticjob</groupId><artifactId>elasticjob-lite-spring-boot-starter</artifactId><version>3.0.3</version>
</dependency>
3.2 配置Zookeeper注册中心
elasticjob:reg-center:server-lists: localhost:2181namespace: elasticjob-demo
3.3 实现定时任务类
public class OrderTimeoutJob implements SimpleJob {@Overridepublic void execute(ShardingContext context) {// 获取当前分片参数int shardIndex = context.getShardingItem();// 分片策略示例:按订单ID取模分片List<Long> orderIds = fetchTimeoutOrders(shardIndex);orderIds.forEach(this::cancelOrder);}private List<Long> fetchTimeoutOrders(int shard) {// 实现分片查询逻辑return orderRepository.findTimeoutOrders(shard);}
}

关键配置参数

jobs:orderTimeoutJob:elasticJobClass: com.example.OrderTimeoutJobcron: 0 0/5 * * * ?shardingTotalCount: 3overwrite: true

四、方案二:Spring Scheduler + Redis分布式锁

4.1 实现Redis锁工具类
public class RedisDistributedLock {private static final String LOCK_PREFIX = "schedule:lock:";private static final int LOCK_EXPIRE = 30;@Autowiredprivate StringRedisTemplate redisTemplate;public boolean tryLock(String lockKey) {String key = LOCK_PREFIX + lockKey;return redisTemplate.opsForValue().setIfAbsent(key, "locked", LOCK_EXPIRE, TimeUnit.SECONDS);}public void unlock(String lockKey) {redisTemplate.delete(LOCK_PREFIX + lockKey);}
}
4.2 定时任务增强实现
@Component
public class CouponExpireJob {@Autowiredprivate RedisDistributedLock redisLock;@Scheduled(cron = "0 0 3 * * ?")public void processExpiredCoupons() {if (!redisLock.tryLock("couponJob")) {return;}try {// 真正的业务逻辑couponService.processExpired();} finally {redisLock.unlock("couponJob");}}
}

五、生产环境避坑指南

  1. 时钟同步问题:所有节点必须使用NTP同步时间
  2. 锁过期时间:预估任务最大执行时间,建议设置超时时间的1.5倍
  3. 故障转移:使用Elastic-Job时开启故障转移配置
    jobs:myJob:failover: true
    
  4. 动态扩容:Elastic-Job支持运行时修改分片数量
  5. 监控告警:集成Prometheus监控任务执行情况

六、性能优化建议

  1. 分片策略优化:根据数据特征选择哈希分片或区间分片
  2. 批量处理:每次处理100-500条数据,避免大事务
  3. 异步执行:耗时操作放入线程池异步处理
  4. 索引优化:任务查询的SQL必须走索引
  5. 日志精简:关闭不必要的调试日志,保留关键操作日志

技术选型建议

  • 中小型项目:Spring Scheduler + Redis锁
  • 大型分布式系统:Elastic-Job
  • 遗留系统改造:Quartz集群

最终解决方案没有银弹,根据团队技术储备和业务场景灵活选择。建议从简单方案入手,随着业务发展逐步演进架构。

相关文章:

SpringBoot分布式定时任务实战:告别重复执行的烦恼

场景再现&#xff1a;你刚部署完基于SpringBoot的集群服务&#xff0c;凌晨3点突然收到监控告警——优惠券发放量超出预算两倍&#xff01;检查日志发现&#xff0c;两个节点同时执行了定时任务。这种分布式环境下的定时任务难题&#xff0c;该如何彻底解决&#xff1f; 本文将…...

AI+金融 应用 使用DeepSeek、Qwen等大模型输入自然语言,得到通达信等行情软件公式代码,导入后使用

AI金融 应用 使用DeepSeek、Qwen等大模型输入自然语言&#xff0c;得到通达信等行情软件公式代码&#xff0c;导入后使用。不会编程&#xff0c;也能行情软件中实现个性化条件选股&#xff0c;个性化技术指标。 AIbxm低估值趋势选股策略&#xff0c;参考提示词&#xff1a; 编…...

C++20 中的同步输出流:`std::basic_osyncstream` 深入解析与应用实践

文章目录 一、std::basic_osyncstream 的背景与动机二、std::basic_osyncstream 的基本原理三、std::basic_osyncstream 的使用方法&#xff08;一&#xff09;基本用法&#xff08;二&#xff09;多线程环境下的使用&#xff08;三&#xff09;与文件流的结合 四、std::basic_…...

Android 关于compose的一些坑和理解

** 1.如何在 WindowManager.addView 中使用 Jetpack Compose** 一、引出问题 Android 开发中&#xff0c;很常见的一个场景&#xff0c;通过 WindowManager.addView() 添加一个 View 到屏幕上。Android 最新的视图框架 Jetpack Compose&#xff0c;如何应用进来。这个被添加的…...

LeetCode 30 —— 30.串联所有单词的子串

题目&#xff1a; 给定一个字符串 s 和一些长度相同的单词 words。找出 s 中恰好可以由 words 中所有单词串联形成的子串的起始位置。 注意子串要与 words 中的单词完全匹配&#xff0c;中间不能有其他字符&#xff0c;但不需要考虑 words 中单词串联的顺序。 示例 1&#xff…...

go语言中的strings库

strings库 func EqualFold func EqualFold(s, t string) bool判断两个utf-8编码字符串&#xff08;将unicode大写、小写、标题三种格式字符视为相同&#xff09;是否相同。 func main() {fmt.Println(strings.EqualFold("hello", "hello")) //truefmt.…...

【嵌入式硬件】三款DCDC调试笔记

关于开关电源芯片&#xff0c;重点关注输入电源范围、输出电流、最低压降。 1.MP9943: 以MP9943为例&#xff0c;输入电压范围4-36V&#xff0c;输出最大电流3A&#xff0c;最低压降为0.3V 调整FB使正常输出为5.06V 给定6V空载、5V空载、5V带2A负载的情况&#xff1a; 6V带2A…...

Cannot find module @rollup/rollup-win32-x64-msvc

方法1 在package.json中添加postinstall: "scripts": {"postinstall": "node -e \"const { platform } process; if (platform win32) { require(child_process).execSync(npm install rollup/rollup-win32-x64-msvc, { stdio: inherit });…...

Linux中修改文件的权限用什么命令?

一、核心语法 chmod [选项] [权限模式] 文件名二、权限模式详解 1. 数字模式&#xff08;推荐使用&#xff09; 通过rwx权限对应的数值组合&#xff1a; r&#xff08;读&#xff09;→ 4w&#xff08;写&#xff09;→ 2x&#xff08;执行&#xff09;→ 1无权限 → 0 组合规…...

【FPGA开发】FPGA点亮LED灯(增加按键暂停恢复/复位操作)

目录 一、VScode下载安装 1.1 官网下载 1.2 安装插件 二、LED流水灯点亮 2.1 任务说明 2.2 新建项目 2.3 创建Verilog文件添加至顶层实体 2.4 引脚分配 2.5 选择烧录器 2.6 添加烧录文件&#xff06;下载 2.7 烧录结果 三、增加按键操作 3.1 按键暂停和恢复功能&…...

companion object和object 从kotlin转java分析

说明 companion object 中 companion类中的方法是普通的方法 在外部类中生成静态变量&#xff0c;静态companion 对象 object MyClass2 中 类中方法是普通方法 在MyClass2中生成静态变量&#xff0c;静态MyClass2对象&#xff0c; 一 companion object 使用 kotlin转java pa…...

Spring MVC 执行流程:一个请求在 Spring MVC 中是如何执行的?

当用户发送一个 HTTP 向 Spring MVC 应用&#xff0c;该请求在 Spring MVC 的执行流程如下&#xff1a; 当用户向 Spring MVC 发起一个 HTTP 请求&#xff0c;该请求会被 Dispatcher Servlet&#xff08;前端控制器&#xff09;拦截&#xff1b;DispatcherServlet 调用 Handler…...

三主热备架构

1.要求 角色主机名软件IP地址用户client192.168.72.90keepalivedvip192.168.72.100masterserverAkeepalived, nginx192.168.72.30backupserverBkeepalived, nginx192.168.72.31backupserverCkeepalived, nginx192.168.72.32webtomcat1tomcat192.168.72.41webtomcat2tomcat192.1…...

HTML 表单处理进阶:验证与提交机制的学习心得与进度(二)

步步为营&#xff1a;表单提交机制全面解析 提交方式详解 GET 与 POST 对比 在 HTML 表单提交中&#xff0c;GET 和 POST 是最为常用的两种提交方式&#xff0c;它们在诸多方面存在显著差异。 安全性&#xff1a;GET 方式将表单数据附加在 URL 的查询字符串中&#xff0c;数…...

JavaScript | 爬虫逆向 | 语法基础| 01

一、摘要 实践是最好的导师 二、环境配置 在开始之前&#xff0c;需要确保你的计算机上已经安装了 Node.js。Node.js 是一个开源的、跨平台的 JavaScript 运行时环境&#xff0c;它允许你在服务器端运行 JavaScript 代码。 1. 下载 安装地址&#xff1a;https://nodejs.org…...

python解决多个矢量点图层合并为一个点图层

1、解决矢量点图层的合并 2、解决多个点图层分别合并为不同图层&#xff08;一个文件夹下所有点图层合并为一个图层&#xff0c;以下代码为两个文件夹&#xff0c;分别合并为两个总的图层&#xff09; import geopandas as gpd import os import pandas as pddef merge_shapef…...

VL开源模型实现文本生成图片

一、 基础知识 根据描述生成图片的视觉-语言模型&#xff08;Vision-Language Models, VL 模型&#xff09;是近年来多模态生成领域的热点研究方向。这些模型能够根据自然语言描述生成高质量的图像&#xff0c;广泛应用于艺术创作、设计辅助、虚拟场景构建等领域。 1 根据描述…...

字节跳动实习生主导开发强化学习算法,助力大语言模型性能突破

目录 禹棋赢的背景与成就 主要成就 DAPO算法的技术细节 算法优势 禹棋赢的研究历程 关键时间节点 字节跳动的“Top Seed人才计划” 计划特点 小编总结 在大模型时代&#xff0c;经验不再是唯一的衡量标准&#xff0c;好奇心、执行力和对新技术的敏锐洞察力成为推动技术…...

九、JavaScript作用域、预解析

一、JavaScript作用域 1.JavaScript作用域 ①代码名字&#xff08;变量&#xff09;在某个范围内起作用和效果 目的是为了提高程序的可靠性更重要的是减少命名冲突 ②js的作用域&#xff08;es6&#xff09;之前&#xff1a;全局作用域 局部作用域 ③全局作用域&#xff1a;整…...

前后端+数据库的项目实战:hbu迎新网-较复杂(下)javaweb

目录 十一、实现对内容的富文本编辑&#xff08;换行、图片颜色等等样式&#xff09; &#xff08;1&#xff09;下载富文本编辑器&#xff0c;引入资源 &#xff08;2&#xff09;将原项目的内容部分替换为富文本编辑器 1、替换添加页面 2、替换修改页面&#xff08;和添…...

Java-模块二-2

整数类型 byte&#xff1a;在 Java 中占用8位&#xff08;1字节&#xff09;&#xff0c;因此它的取值范围是从 -128 到 127。这是最小的整数类型&#xff0c;适合用于节省空间的情况。 short&#xff1a;这种类型的大小是16位&#xff08;2字节&#xff09;&#xff0c;允许的…...

Redis、Memcached应用场景对比

环境 Redis官方网站&#xff1a; Redis - The Real-time Data Platform Redis社区版本下载地址&#xff1a;Install Redis | Docs Memcached官方网站&#xff1a;memcached - a distributed memory object caching system Memcached下载地址&#xff1a;memcached - a dis…...

【单片机通信技术应用——学习笔记三】液晶屏显示技术,取模软件的应用

一、液晶显示技术简介 1.RGB信号线 RGB是一种色彩模式&#xff0c;是工业界的一种颜色标准&#xff0c;是通过红&#xff08;R&#xff09;、绿&#xff08;G&#xff09;、蓝&#xff08;B&#xff09;三个颜色通道的变化&#xff0c;以及它们相互之间的叠加来得到各式各样的…...

MySQL颠覆版系列————MySQL新特性(开启数据库的新纪元)上篇

文章目录 前言一、窗口函数&#xff08;Window Functions&#xff09;1.1 窗口函数概念1.2 常见的窗口函数 二、公用表表达式&#xff08;Common Table Expressions, CTEs&#xff09;2.1 公用表表达式的概念2.2 常见的公用表表达式 三、JSON增强3.1 JSON增强的概念3.2 常见的J…...

MySQL 调优:查询慢除了索引还能因为什么?

文章目录 情况一&#xff1a;连接数过小情况二&#xff1a;Buffer Pool 太小 MySQL 查询慢除了索引还能因为什么&#xff1f;MySQL 查询慢&#xff0c;我们一般也会想到是因为索引&#xff0c;但除了索引还有哪些原因会导致数据库查询变慢呢&#xff1f; 以下以 MySQL 中一条 S…...

Java实习生面试题(2025.3.23 be)

一、v-if与v-show的区别 v-show 和 v-if 都是 Vue 中的条件渲染指令&#xff0c;它们的主要区别在于渲染策略&#xff1a;v-if 会根据条件决定是否编译元素&#xff0c;而 v-show 则始终编译元素&#xff0c;只是通过改变 CSS 的 display 属性来控制显示与隐藏。 二、mybatis-…...

如何在百度搜索上删除与自己名字相关的资料

个人信息的网络足迹如同一张无形的网&#xff0c;将我们与世界的每一个角落紧密相连。然而&#xff0c;当某些与自己名字相关的资料不再希望被公众轻易检索到时&#xff0c;如何在百度搜索中有效“隐身”&#xff0c;成为了一个亟待解决的问题。面对复杂多变的网络环境&#xf…...

【C语言】C语言使用随机数srand,rand

C语言使用随机数srand,rand 可直接编译使用&#xff1a; #include <stdio.h> #include <time.h> #include <stdlib.h> #include <unistd.h>/* c语言提供的跟随机数有关的函数:int rand(void);返回值:产生的随机数void srand(unsiqned int seed);参数…...

为容器指定固定IP地址

文章目录 为容器指定固定IP地址可以通过以下步骤实现&#xff0c;适用于Docker环境&#xff1a;**方法一&#xff1a;使用Docker自定义桥接网络****方法二&#xff1a;Docker Compose配置****关键注意事项** 为容器指定固定IP地址可以通过以下步骤实现&#xff0c;适用于Docker…...

kube-score K8S Yaml静态代码分析工具详解

kube-score 是一款专注于 Kubernetes 配置文件的静态代码分析工具&#xff0c;旨在通过自动化检查帮助用户识别资源配置中的潜在问题&#xff0c;并遵循最佳实践以提升集群的安全性、稳定性和性能。以下是其核心功能、使用方法和应用场景的详细解析&#xff1a; 一、核心功能与…...