当前位置： 首页 > news >正文

xxl-job 分布式任务调度框架

news 2025/7/4 2:36:55

文章目录

  • 分布式任务调度
  • XXL-Job 简介
  • XXL-Job 环境搭建
  • XXL-Job (源码说明)
  • 配置部署调度中心
    • docker安装
  • Bean模式任务(方法形式)-入门案例
  • 任务详解
    • 任务详解-执行器
    • 任务详解-基础配置
    • 任务详解-调度配置
    • 任务详解-基础配置
    • 任务详解-阻塞处理策略
    • 任务详解-路由策略
  • 路由策略
    • 路由策略(轮询)-案例
    • 路由策略(分片广播)
    • 路由策略(分片广播)-案例

spring 传统的定时任务@Scheduled，但是这样存在这一些问题 ：

  • 做集群任务的重复执行问题
  • cron表达式定义在代码之中，修改不方便
  • 定时任务失败了，无法重试也没有统计
  • 如果任务量过大，不能有效的分片执行

分布式任务调度

在分布式架构下，一个服务往往会部署多个实例来运行我们的业务，如果在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度。

在这里插入图片描述

XXL-Job 简介

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
源码地址：https://gitee.com/xuxueli0323/xxl-job
文档地址：https://www.xuxueli.com/xxl-job/

同类产品：

在这里插入图片描述

XXL-Job 环境搭建

  1. 调度中心环境要求
    Maven3+
    Jdk1.8+
    Mysql5.7+

  2. 源码仓库地址

源码仓库地址Release Download
https://github.com/xuxueli/xxl-jobhttps://github.com/xuxueli/xxl-job/releases
http://gitee.com/xuxueli0323/xxl-jobhttp://gitee.com/xuxueli0323/xxl-job/releases

XXL-Job (源码说明)

在这里插入图片描述

配置部署调度中心

作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。

  1. 调度数据库初始化SQL脚本执行
    位置：xxl-job/doc/db/tables_xxl_job.sql 共8张表

在这里插入图片描述

  1. 调度中心配置
    配置文件位置：xxl-job/xxl-job-admin/src/main/resources/application.properties

在这里插入图片描述

  1. 启动调度中心，默认登录账号 “admin/123456”, 登录后运行界面如下图所示。

在这里插入图片描述

docker安装

  1. 创建mysql容器，初始化xxl-job的SQL脚本

在这里插入图片描述

  1. 拉取镜像

在这里插入图片描述

  1. 创建容器

在这里插入图片描述

Bean模式任务(方法形式)-入门案例

  1. 登录调度中心，点击下图所示“新建任务”按钮，新建示例任务

在这里插入图片描述

  1. 创建xxljob-demo项目，导入依赖

在这里插入图片描述

  1. application.yml 配置

在这里插入图片描述

  1. 任务代码，重要注解:@XxlJob(“JobHandler”)

在这里插入图片描述

  1. 测试-单节点
  • 启动微服务
  • 启动任务

任务详解

任务详解-执行器

  • 执行器：任务的绑定的执行器，任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能;
  • 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器

在这里插入图片描述

任务详解-基础配置

  • 执行器：每个任务必须绑定一个执行器, 方便给任务进行分组
  • 任务描述：任务的描述信息，便于任务管理；
  • 负责人：任务的负责人；
  • 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔

在这里插入图片描述

任务详解-调度配置

  • 调度类型：
    • 无：该类型不会主动触发调度；
    • CRON：该类型将会通过CRON，触发任务调度；
    • 固定速度：该类型将会以固定速度，触发任务调度；按照固定的间隔时间，周期性触发；

在这里插入图片描述

任务详解-基础配置

  • 运行模式：
    BEAN模式：任务以JobHandler方式维护在执行器端；需要结合

  • “JobHandler” 属性匹配执行器中任务；
    JobHandler：运行模式为 “BEAN模式” 时生效，对应执行器中新开发的 JobHandler 类“@JobHandler”注解自定义的 value 值；

  • 执行参数：任务执行所需的参数；

在这里插入图片描述

任务详解-阻塞处理策略

阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；

  • 单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO(First Input First Output)队列并以串行方式运行；
  • 丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
  • 覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；

在这里插入图片描述

任务详解-路由策略

在这里插入图片描述

当执行器集群部署时，提供丰富的路由策略，包括；

  • FIRST（第一个）：固定选择第一个机器；
  • LAST（最后一个）：固定选择最后一个机器；
  • ROUND（轮询）：
  • RANDOM（随机）：随机选择在线的机器；
  • CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
  • LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
  • LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举；
  • FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
  • BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
  • SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；

路由策略

路由策略(轮询)-案例

  • 修改任务为轮询

在这里插入图片描述

  • 启动多个微服务

在这里插入图片描述

路由策略(分片广播)

执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发对应集群中所有执行器执行一次任务

在这里插入图片描述

执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发对应集群中所有执行器执行一次任务

在这里插入图片描述

路由策略(分片广播)-案例

需求：让两个节点同时执行10000个任务，每个节点分别执行5000个任务

①：创建分片执行器

在这里插入图片描述

②：创建任务，路由策略为分片广播

在这里插入图片描述

③：分片广播代码

分片参数

  • index：当前分片序号(从0开始)，执行器集群列表中当前执行器的序号；
  • total：总分片数，执行器集群的总机器数量；

在这里插入图片描述

相关文章：

xxl-job 分布式任务调度框架

文章目录 分布式任务调度XXL-Job 简介XXL-Job 环境搭建XXL-Job (源码说明)配置部署调度中心docker安装 Bean模式任务(方法形式)-入门案例任务详解任务详解-执行器任务详解-基础配置任务详解-调度配置任务详解-基础配置任务详解-阻塞处理策略任务详解-路由策略 路由策略路由策略…...

编程日记 2023/12/2 20:29:50

软件使用-stm32入门

这节主要是介绍大家使用两个软件。这两个软件也是比较常用的，里面也有很多有意思的功能，可以给大家介绍一下。 1. FlyMcu 软件 这个软件可以通过串口给 STM32 下载程序，如果你没有 STLINK，就可以用这个软件通过串口下载程序。 …...

编程日记 2023/12/2 20:28:49

使用MAT分析内存泄漏（mac）

前言 今天主要简单分享下Eclipse的Memory Analyzer在mac下的使用。 一、Mat（简称）干什么的？ 就是分析java内存泄漏的工具。 二、使用步骤 1.下载 mac版的现在也分芯片，别下错了。我这里是M2芯片的，下载的Arch64的。 …...

编程日记 2023/12/2 20:27:48

【Vue】Linux 运行 npm run serve 报错 vue-cli-service: Permission denied

问题描述 在Linux系统上运行npm run serve命令时，控制台报错： sudo npm run serve project50.1.0 serve vue-cli-service serve sh: 1: vue-cli-service: Permission denied错误截图如下： 原因分析 该错误是由于vue-cli-service文件权限不…...

编程日记 2023/12/2 20:26:47

LeetCode的几道题

一、捡石头 292 思路就是： 谁面对4块石头的时候，谁就输（因为每次就是1-3块石头，如果剩下4块石头，你怎么拿，我都能把剩下的拿走，所以你就要想尽办法让对面面对4块石头的倍数， 比如有…...

编程日记 2023/12/2 20:25:46

NLP/Natural Language Processing

一、NLP是什么 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向，也就是人们常说的「自然语言处理」，就是研究如何让计算机读懂人类语言，即将人的自然语言转换为计算机可以阅读的指令。它研…...

编程日记 2023/12/2 20:23:44

【教学类-06-12】20231202 0-9数字分合-房屋样式（一）-下右空-升序-抽7题

作品展示-屋顶分合（0-9之间随机抽取7个不重复分合） 背景需求： 大班幼儿学分合题，通常区角里会设计一个“房屋分合”的样式 根据这种房屋样式，设计0-9内的升序分合题模板 素材准备 WORD样式 代码展示： 2-9…...

编程日记 2023/12/2 20:19:41

uni-app 微信小程序 电子签名及签名图片翻转显示功能

文章目录 1. 需求背景2. 开始撸2.1 点击 重写 进入签名页面（上图一）2.2 书写签名，点击确认返回，及图片翻转显示（上图二，三） 3. 图片进行翻转，返回翻转后的图片 1. 需求背景 接的一个…...

编程日记 2023/12/2 20:16:38

MySQL 8.0关键字和保留字

官网地址： https://dev.mysql.com/doc/refman/8.0/en/keywords.html 可以粘贴出去自己排版整理 {accessible} {account} {action} {active} {add} {admin} {after} {against} {aggregate} {algorithm} {all} {alter} {always} {analyse} {analyze} …...

编程日记 2023/12/2 20:13:36

PyLMKit(3):基于角色扮演的应用案例

角色扮演应用案例RolePlay 0.项目信息 日期： 2023-12-2作者：小知课题: 通过设置角色模板并结合在线搜索、记忆和知识库功能，实现典型的对话应用功能。这个功能是大模型应用的基础功能，在后续其它RAG等功能中都会用到这个功能。功…...

编程日记 2023/12/2 20:11:34

JAVA全栈开发 集合详解（day14+day15汇总）

一、数组 数组是一个容器，可以存入相同类型的多个数据元素。 数组局限性： ​ 长度固定：（添加–扩容， 删除-缩容） ​ 类型是一致的 对象数组 ： int[] arr new int[5]; … Student[] arr …...

编程日记 2023/12/2 20:08:31

Linux Spug自动化运维平台本地部署与公网远程访问

文章目录 前言1. Docker安装Spug2 . 本地访问测试3. Linux 安装cpolar4. 配置Spug公网访问地址5. 公网远程访问Spug管理界面6. 固定Spug公网地址 前言 Spug 面向中小型企业设计的轻量级无 Agent 的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、文件…...

编程日记 2023/12/2 20:07:31

zookeeper集群和kafka集群

（一）kafka 1、kafka3.0之前依赖于zookeeper 2、kafka3.0之后不依赖zookeeper，元数据由kafka节点自己管理 （二）zookeeper 1、zookeeper是一个开源的、分布式的架构，提供协调服务（Apache项目&…...

编程日记 2023/12/2 19:57:24

Java——》JSONObjet 数据顺序

推荐链接： 总结——》【Java】 总结——》【Mysql】 总结——》【Redis】 总结——》【Kafka】 总结——》【Spring】 总结——》【SpringBoot】 总结——》【MyBatis、MyBatis-Plus】 总结——》【Linux】 总结——》【MongoD…...

编程日记 2023/12/2 19:56:22

【个人记录】NGINX反向代理grpc服务

最开始使用proxy_pass去代理了grpc服务，结果请求时候报错提示： rpc error: code Unavailable desc connection error: desc "error reading server preface: http2: frame too large"后来才知道代理grpc服务需要使用grpc_pass，…...

编程日记 2023/12/2 19:54:21

【小白推荐】安装OpenCV4.8 系统 Ubuntu 22.04LST Linux.

先看一下目录，知道大致的流程！ 文章目录 安装OpenCV安装依赖下载源码配置与构建安装 测试编写CMakeListx.txt编写测试代码 安装OpenCV 安装依赖 sudo apt update && sudo apt upgrade sudo apt install cmake ninja-build build-essential lib…...

编程日记 2023/12/2 19:53:20

使用Docker Compose搭建CIG监控平台

CIG简介 CIG监控平台是基于CAdvisor、InfluxDB和Granfana构建的一个容器重量级监控系统，用于监控容器的各项性能指标。其中，CAdvisor是一个容器资源监控工具，用于监控容器的内存、CPU、网络IO和磁盘IO等。InfluxDB是一个开源的分布式时序、时…...

编程日记 2023/12/2 19:50:17

前端文本省略号后面添加复制文字

前端文本省略号后面添加复制文字 1、效果图 2、代码展示 <div class"link-content-wrap" click"copyLinkText"><div class"link-content">{{ shareResult.url || }} </div><span class"show-ellipsis" click&…...

编程日记 2023/12/2 19:49:16

【算法】动态规划中的路径问题

君兮_的个人主页 即使走的再远&#xff0c;也勿忘启程时的初心 C/C 游戏开发 Hello,米娜桑们&#xff0c;这里是君兮_&#xff0c;如果给算法的难度和复杂度排一个排名&#xff0c;那么动态规划算法一定名列前茅。今天&#xff0c;我们通过由简单到困难的两道题目带大家学会动…...

编程日记 2023/12/2 19:48:15

代数学笔记9: 群的直积,可解群,自由群,群表示

群的直积 外直积 H 1 , H 2 H_1,H_2 H1​,H2​是两个群(固定的群), 且有 G H 1 H 2 GH_1\times H_2 GH1​H2​,(构造的新群) G ( { ( h 1 , h 2 ) ∣ h 1 ∈ H 1 , h 2 ∈ H 2 } , ⋅ ) , G\big(\{(h_1,h_2)|h_1\in H_1,h_2\in H_2\},\cdot\big), G({(h1​,h2​)∣h1​∈H…...

编程日记 2023/12/2 19:47:15

select、poll、epoll 与 Reactor 模式

在高并发网络编程领域&#xff0c;高效处理大量连接和 I/O 事件是系统性能的关键。select、poll、epoll 作为 I/O 多路复用技术的代表&#xff0c;以及基于它们实现的 Reactor 模式&#xff0c;为开发者提供了强大的工具。本文将深入探讨这些技术的底层原理、优缺点。​ 一、I…...

编程新知 2025/6/29 23:17:49

解读《网络安全法》最新修订，把握网络安全新趋势

《网络安全法》自2017年施行以来&#xff0c;在维护网络空间安全方面发挥了重要作用。但随着网络环境的日益复杂&#xff0c;网络攻击、数据泄露等事件频发&#xff0c;现行法律已难以完全适应新的风险挑战。 2025年3月28日&#xff0c;国家网信办会同相关部门起草了《网络安全…...

编程新知 2025/6/26 9:04:15

go 里面的指针

指针 在 Go 中&#xff0c;指针&#xff08;pointer&#xff09;是一个变量的内存地址&#xff0c;就像 C 语言那样&#xff1a; a : 10 p : &a // p 是一个指向 a 的指针 fmt.Println(*p) // 输出 10&#xff0c;通过指针解引用• &a 表示获取变量 a 的地址 p 表示…...

编程新知 2025/6/18 3:37:27

在golang中如何将已安装的依赖降级处理，比如：将 go-ansible/v2@v2.2.0 更换为 go-ansible/@v1.1.7

在 Go 项目中降级 go-ansible 从 v2.2.0 到 v1.1.7 具体步骤&#xff1a; 第一步&#xff1a; 修改 go.mod 文件 // 原 v2 版本声明 require github.com/apenella/go-ansible/v2 v2.2.0 替换为&#xff1a; // 改为 v…...

编程新知 2025/6/21 9:41:24

【iOS】 Block再学习

iOS Block再学习 文章目录 iOS Block再学习前言Block的三种类型__ NSGlobalBlock____ NSMallocBlock____ NSStackBlock__小结 Block底层分析Block的结构捕获自由变量捕获全局(静态)变量捕获静态变量__block修饰符forwarding指针 Block的copy时机block作为函数返回值将block赋给…...

编程新知 2025/7/2 0:28:27

在Zenodo下载文件 用到googlecolab googledrive

方法&#xff1a;Figshare/Zenodo上的数据/文件下载不下来&#xff1f;尝试利用Google Colab &#xff1a;https://zhuanlan.zhihu.com/p/1898503078782674027 参考&#xff1a; 通过Colab&谷歌云下载Figshare数据&#xff0c;超级实用&#xff01;&#xff01;&#xff0…...

编程新知 2025/6/27 9:19:55

Element-Plus：popconfirm与tooltip一起使用不生效？

你们好&#xff0c;我是金金金。 场景 我正在使用Element-plus组件库当中的el-popconfirm和el-tooltip&#xff0c;产品要求是两个需要结合一起使用&#xff0c;也就是鼠标悬浮上去有提示文字&#xff0c;并且点击之后需要出现气泡确认框 代码 <el-popconfirm title"是…...

编程新知 2025/6/24 17:10:53

MySQL基本操作（续）

第3章&#xff1a;MySQL基本操作&#xff08;续&#xff09; 3.3 表操作 表是关系型数据库中存储数据的基本结构&#xff0c;由行和列组成。在MySQL中&#xff0c;表操作包括创建表、查看表结构、修改表和删除表等。本节将详细介绍这些操作。 3.3.1 创建表 在MySQL中&#…...

编程新知 2025/6/21 13:36:11

SOC-ESP32S3部分：30-I2S音频-麦克风扬声器驱动

飞书文档https://x509p6c8to.feishu.cn/wiki/SKZzwIRH3i7lsckUOlzcuJsdnVf I2S简介 I2S&#xff08;Inter-Integrated Circuit Sound&#xff09;是一种用于传输数字音频数据的通信协议&#xff0c;广泛应用于音频设备中。 ESP32-S3 包含 2 个 I2S 外设&#xff0c;通过配置…...

编程新知 2025/6/21 6:56:11

华为OD机考- 简单的自动曝光/平均像素

import java.util.Arrays; import java.util.Scanner;public class DemoTest4 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint[] arr Array…...

编程新知 2025/7/3 6:21:00