当前位置： 首页 > news >正文

xxl-job 分布式任务调度框架

news 文章来源：https://blog.csdn.net/qq_46456049/article/details/134738227 2025/5/10 18:46:08

文章目录

  • 分布式任务调度
  • XXL-Job 简介
  • XXL-Job 环境搭建
  • XXL-Job (源码说明)
  • 配置部署调度中心
    • docker安装
  • Bean模式任务(方法形式)-入门案例
  • 任务详解
    • 任务详解-执行器
    • 任务详解-基础配置
    • 任务详解-调度配置
    • 任务详解-基础配置
    • 任务详解-阻塞处理策略
    • 任务详解-路由策略
  • 路由策略
    • 路由策略(轮询)-案例
    • 路由策略(分片广播)
    • 路由策略(分片广播)-案例

spring 传统的定时任务@Scheduled，但是这样存在这一些问题 ：

  • 做集群任务的重复执行问题
  • cron表达式定义在代码之中，修改不方便
  • 定时任务失败了，无法重试也没有统计
  • 如果任务量过大，不能有效的分片执行

分布式任务调度

在分布式架构下，一个服务往往会部署多个实例来运行我们的业务，如果在这种分布式系统环境下运行任务调度，我们称之为分布式任务调度。

在这里插入图片描述

XXL-Job 简介

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
源码地址：https://gitee.com/xuxueli0323/xxl-job
文档地址：https://www.xuxueli.com/xxl-job/

同类产品：

在这里插入图片描述

XXL-Job 环境搭建

  1. 调度中心环境要求
    Maven3+
    Jdk1.8+
    Mysql5.7+

  2. 源码仓库地址

源码仓库地址Release Download
https://github.com/xuxueli/xxl-jobhttps://github.com/xuxueli/xxl-job/releases
http://gitee.com/xuxueli0323/xxl-jobhttp://gitee.com/xuxueli0323/xxl-job/releases

XXL-Job (源码说明)

在这里插入图片描述

配置部署调度中心

作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。

  1. 调度数据库初始化SQL脚本执行
    位置：xxl-job/doc/db/tables_xxl_job.sql 共8张表

在这里插入图片描述

  1. 调度中心配置
    配置文件位置：xxl-job/xxl-job-admin/src/main/resources/application.properties

在这里插入图片描述

  1. 启动调度中心，默认登录账号 “admin/123456”, 登录后运行界面如下图所示。

在这里插入图片描述

docker安装

  1. 创建mysql容器，初始化xxl-job的SQL脚本

在这里插入图片描述

  1. 拉取镜像

在这里插入图片描述

  1. 创建容器

在这里插入图片描述

Bean模式任务(方法形式)-入门案例

  1. 登录调度中心，点击下图所示“新建任务”按钮，新建示例任务

在这里插入图片描述

  1. 创建xxljob-demo项目，导入依赖

在这里插入图片描述

  1. application.yml 配置

在这里插入图片描述

  1. 任务代码，重要注解:@XxlJob(“JobHandler”)

在这里插入图片描述

  1. 测试-单节点
  • 启动微服务
  • 启动任务

任务详解

任务详解-执行器

  • 执行器：任务的绑定的执行器，任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能;
  • 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器

在这里插入图片描述

任务详解-基础配置

  • 执行器：每个任务必须绑定一个执行器, 方便给任务进行分组
  • 任务描述：任务的描述信息，便于任务管理；
  • 负责人：任务的负责人；
  • 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔

在这里插入图片描述

任务详解-调度配置

  • 调度类型：
    • 无：该类型不会主动触发调度；
    • CRON：该类型将会通过CRON，触发任务调度；
    • 固定速度：该类型将会以固定速度，触发任务调度；按照固定的间隔时间，周期性触发；

在这里插入图片描述

任务详解-基础配置

  • 运行模式：
    BEAN模式：任务以JobHandler方式维护在执行器端；需要结合

  • “JobHandler” 属性匹配执行器中任务；
    JobHandler：运行模式为 “BEAN模式” 时生效，对应执行器中新开发的 JobHandler 类“@JobHandler”注解自定义的 value 值；

  • 执行参数：任务执行所需的参数；

在这里插入图片描述

任务详解-阻塞处理策略

阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；

  • 单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO(First Input First Output)队列并以串行方式运行；
  • 丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
  • 覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；

在这里插入图片描述

任务详解-路由策略

在这里插入图片描述

当执行器集群部署时，提供丰富的路由策略，包括；

  • FIRST（第一个）：固定选择第一个机器；
  • LAST（最后一个）：固定选择最后一个机器；
  • ROUND（轮询）：
  • RANDOM（随机）：随机选择在线的机器；
  • CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
  • LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
  • LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举；
  • FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
  • BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
  • SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；

路由策略

路由策略(轮询)-案例

  • 修改任务为轮询

在这里插入图片描述

  • 启动多个微服务

在这里插入图片描述

路由策略(分片广播)

执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发对应集群中所有执行器执行一次任务

在这里插入图片描述

执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发对应集群中所有执行器执行一次任务

在这里插入图片描述

路由策略(分片广播)-案例

需求：让两个节点同时执行10000个任务，每个节点分别执行5000个任务

①：创建分片执行器

在这里插入图片描述

②：创建任务，路由策略为分片广播

在这里插入图片描述

③：分片广播代码

分片参数

  • index：当前分片序号(从0开始)，执行器集群列表中当前执行器的序号；
  • total：总分片数，执行器集群的总机器数量；

在这里插入图片描述

相关文章：

xxl-job 分布式任务调度框架

文章目录 分布式任务调度XXL-Job 简介XXL-Job 环境搭建XXL-Job (源码说明)配置部署调度中心docker安装 Bean模式任务(方法形式)-入门案例任务详解任务详解-执行器任务详解-基础配置任务详解-调度配置任务详解-基础配置任务详解-阻塞处理策略任务详解-路由策略 路由策略路由策略…...

编程日记 2023/12/2 20:29:50

软件使用-stm32入门

这节主要是介绍大家使用两个软件。这两个软件也是比较常用的，里面也有很多有意思的功能，可以给大家介绍一下。 1. FlyMcu 软件 这个软件可以通过串口给 STM32 下载程序，如果你没有 STLINK，就可以用这个软件通过串口下载程序。 …...

编程日记 2023/12/2 20:28:49

使用MAT分析内存泄漏（mac）

前言 今天主要简单分享下Eclipse的Memory Analyzer在mac下的使用。 一、Mat（简称）干什么的？ 就是分析java内存泄漏的工具。 二、使用步骤 1.下载 mac版的现在也分芯片，别下错了。我这里是M2芯片的，下载的Arch64的。 …...

编程日记 2023/12/2 20:27:48

【Vue】Linux 运行 npm run serve 报错 vue-cli-service: Permission denied

问题描述 在Linux系统上运行npm run serve命令时，控制台报错： sudo npm run serve project50.1.0 serve vue-cli-service serve sh: 1: vue-cli-service: Permission denied错误截图如下： 原因分析 该错误是由于vue-cli-service文件权限不…...

编程日记 2023/12/2 20:26:47

LeetCode的几道题

一、捡石头 292 思路就是： 谁面对4块石头的时候，谁就输（因为每次就是1-3块石头，如果剩下4块石头，你怎么拿，我都能把剩下的拿走，所以你就要想尽办法让对面面对4块石头的倍数， 比如有…...

编程日记 2023/12/2 20:25:46

NLP/Natural Language Processing

一、NLP是什么 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向，也就是人们常说的「自然语言处理」，就是研究如何让计算机读懂人类语言，即将人的自然语言转换为计算机可以阅读的指令。它研…...

编程日记 2023/12/2 20:23:44

【教学类-06-12】20231202 0-9数字分合-房屋样式（一）-下右空-升序-抽7题

作品展示-屋顶分合（0-9之间随机抽取7个不重复分合） 背景需求： 大班幼儿学分合题，通常区角里会设计一个“房屋分合”的样式 根据这种房屋样式，设计0-9内的升序分合题模板 素材准备 WORD样式 代码展示： 2-9…...

编程日记 2023/12/2 20:19:41

uni-app 微信小程序 电子签名及签名图片翻转显示功能

文章目录 1. 需求背景2. 开始撸2.1 点击 重写 进入签名页面（上图一）2.2 书写签名，点击确认返回，及图片翻转显示（上图二，三） 3. 图片进行翻转，返回翻转后的图片 1. 需求背景 接的一个…...

编程日记 2023/12/2 20:16:38

MySQL 8.0关键字和保留字

官网地址： https://dev.mysql.com/doc/refman/8.0/en/keywords.html 可以粘贴出去自己排版整理 {accessible} {account} {action} {active} {add} {admin} {after} {against} {aggregate} {algorithm} {all} {alter} {always} {analyse} {analyze} …...

编程日记 2023/12/2 20:13:36

PyLMKit(3):基于角色扮演的应用案例

角色扮演应用案例RolePlay 0.项目信息 日期： 2023-12-2作者：小知课题: 通过设置角色模板并结合在线搜索、记忆和知识库功能，实现典型的对话应用功能。这个功能是大模型应用的基础功能，在后续其它RAG等功能中都会用到这个功能。功…...

编程日记 2023/12/2 20:11:34

JAVA全栈开发 集合详解（day14+day15汇总）

一、数组 数组是一个容器，可以存入相同类型的多个数据元素。 数组局限性： ​ 长度固定：（添加–扩容， 删除-缩容） ​ 类型是一致的 对象数组 ： int[] arr new int[5]; … Student[] arr …...

编程日记 2023/12/2 20:08:31

Linux Spug自动化运维平台本地部署与公网远程访问

文章目录 前言1. Docker安装Spug2 . 本地访问测试3. Linux 安装cpolar4. 配置Spug公网访问地址5. 公网远程访问Spug管理界面6. 固定Spug公网地址 前言 Spug 面向中小型企业设计的轻量级无 Agent 的自动化运维平台，整合了主机管理、主机批量执行、主机在线终端、文件…...

编程日记 2023/12/2 20:07:31

zookeeper集群和kafka集群

（一）kafka 1、kafka3.0之前依赖于zookeeper 2、kafka3.0之后不依赖zookeeper，元数据由kafka节点自己管理 （二）zookeeper 1、zookeeper是一个开源的、分布式的架构，提供协调服务（Apache项目&…...

编程日记 2023/12/2 19:57:24

Java——》JSONObjet 数据顺序

推荐链接： 总结——》【Java】 总结——》【Mysql】 总结——》【Redis】 总结——》【Kafka】 总结——》【Spring】 总结——》【SpringBoot】 总结——》【MyBatis、MyBatis-Plus】 总结——》【Linux】 总结——》【MongoD…...

编程日记 2023/12/2 19:56:22

【个人记录】NGINX反向代理grpc服务

最开始使用proxy_pass去代理了grpc服务，结果请求时候报错提示： rpc error: code Unavailable desc connection error: desc "error reading server preface: http2: frame too large"后来才知道代理grpc服务需要使用grpc_pass，…...

编程日记 2023/12/2 19:54:21

【小白推荐】安装OpenCV4.8 系统 Ubuntu 22.04LST Linux.

先看一下目录，知道大致的流程！ 文章目录 安装OpenCV安装依赖下载源码配置与构建安装 测试编写CMakeListx.txt编写测试代码 安装OpenCV 安装依赖 sudo apt update && sudo apt upgrade sudo apt install cmake ninja-build build-essential lib…...

编程日记 2023/12/2 19:53:20

使用Docker Compose搭建CIG监控平台

CIG简介 CIG监控平台是基于CAdvisor、InfluxDB和Granfana构建的一个容器重量级监控系统，用于监控容器的各项性能指标。其中，CAdvisor是一个容器资源监控工具，用于监控容器的内存、CPU、网络IO和磁盘IO等。InfluxDB是一个开源的分布式时序、时…...

编程日记 2023/12/2 19:50:17

前端文本省略号后面添加复制文字

前端文本省略号后面添加复制文字 1、效果图 2、代码展示 <div class"link-content-wrap" click"copyLinkText"><div class"link-content">{{ shareResult.url || }} </div><span class"show-ellipsis" click&…...

编程日记 2023/12/2 19:49:16

【算法】动态规划中的路径问题

君兮_的个人主页 即使走的再远&#xff0c;也勿忘启程时的初心 C/C 游戏开发 Hello,米娜桑们&#xff0c;这里是君兮_&#xff0c;如果给算法的难度和复杂度排一个排名&#xff0c;那么动态规划算法一定名列前茅。今天&#xff0c;我们通过由简单到困难的两道题目带大家学会动…...

编程日记 2023/12/2 19:48:15

代数学笔记9: 群的直积,可解群,自由群,群表示

群的直积 外直积 H 1 , H 2 H_1,H_2 H1​,H2​是两个群(固定的群), 且有 G H 1 H 2 GH_1\times H_2 GH1​H2​,(构造的新群) G ( { ( h 1 , h 2 ) ∣ h 1 ∈ H 1 , h 2 ∈ H 2 } , ⋅ ) , G\big(\{(h_1,h_2)|h_1\in H_1,h_2\in H_2\},\cdot\big), G({(h1​,h2​)∣h1​∈H…...

编程日记 2023/12/2 19:47:15

kali学习

目录 黑客法则&#xff1a; 一&#xff1a;页面使用基础 二&#xff1a;msf和Windows永恒之蓝漏洞 kali最强渗透工具——metasploit 介绍 使用永恒之蓝进行攻击 ​编辑 使用kali渗透工具生成远程控制木马 渗透测试——信息收集 域名信息收集 黑客法则&#xff1a; 一&…...

编程日记 2023/12/2 19:46:14

《论文阅读》DualGATs：用于对话中情绪识别的双图注意力网络

《论文阅读》DualGATs：用于会话中情感识别的双图注意力网络 前言摘要模型架构DisGAT图构建图关系类型图节点更新SpkGAT图构建图关系类型图节点更新交互模块情绪预测损失函数问题前言 今天为大家带来的是《DualGATs: Dual Graph Attention Networks...

编程日记 2023/12/2 19:34:01

【算法】单调栈题单——字典序最小⭐（一种类型的模板题）

文章目录 题目列表316. 去除重复字母⭐⭐⭐⭐⭐&#xff08;类型题模板&#xff1a;单调栈&#xff0c;字典序最小&#xff09;221021天池-03. 整理书架&#xff08;保留数量为 limit 的字典序最小&#xff09;402. 移掉 K 位数字&#xff08;最多删除 k 次 前导零的处理&…...

编程日记 2023/12/2 19:30:58

DockerCompose修改某个服务的配置(添加或编辑端口号映射)后如何重启单个服务使其生效

场景 docker-compose入门以及部署SpringBootVueRedisMysql(前后端分离项目)以若依前后端分离版为例&#xff1a; docker-compose入门以及部署SpringBootVueRedisMysql(前后端分离项目)以若依前后端分离版为例_docker-compose部署java mysql redis-CSDN博客 上面讲了docker c…...

编程日记 2023/12/2 19:28:56

DOM 事件的传播机制

前端面试大全DOM 事件的传播机制 &#x1f31f;经典真题 &#x1f31f;事件与事件流 事件流 事件冒泡流 事件捕获流 标准 DOM 事件流 &#x1f31f;事件委托 &#x1f31f;真题解答 &#x1f31f;总结 &#x1f31f;经典真题 谈一谈事件委托以及冒泡原理 &#x1f3…...

编程日记 2023/12/2 19:25:54

（数据结构）顺序表的查找

静态分配代码&#xff1a; #include<stdio.h> #include<stdlib.h> #define MAX 100 typedef struct LinkList {int data[MAX];int lenth; }Link; //初始化 void CreateList(Link* L) {L->lenth 0;for (int i 0; i < MAX; i){L->data[i] 0;} } //插入 …...

编程日记 2023/12/2 19:24:53

vue 解决响应大数据表格渲染崩溃问题

如果可以实现记得点赞分享&#xff0c;谢谢老铁&#xff5e; 1.场景描述 发起请求获取上万条数据&#xff0c;进行表格渲染&#xff0c;使浏览器卡顿&#xff0c;导致网页崩溃。 2.分析原因 1.大量数据加载&#xff0c;过多操作Dom&#xff0c;消耗性能。 2.表格中包含其他…...

编程日记 2023/12/2 19:23:52

Hdoop学习笔记（HDP）-Part.13 安装Ranger

目录 Part.01 关于HDP Part.02 核心组件原理 Part.03 资源规划 Part.04 基础环境配置 Part.05 Yum源配置 Part.06 安装OracleJDK Part.07 安装MySQL Part.08 部署Ambari集群 Part.09 安装OpenLDAP Part.10 创建集群 Part.11 安装Kerberos Part.12 安装HDFS Part.13 安装Ranger …...

编程日记 2023/12/2 19:21:51

Spring AOP记录接口访问日志

Spring AOP记录接口访问日志 介绍应用范围组成通知&#xff08;Advice&#xff09;连接点&#xff08;JoinPoint&#xff09;切点&#xff08;Pointcut&#xff09;切面&#xff08;Aspect&#xff09;引入&#xff08;Introduction&#xff09;织入&#xff08;Weaving&#x…...

编程日记 2023/12/2 19:19:48

分享89个节日PPT，总有一款适合您

分享89个节日PPT&#xff0c;总有一款适合您 89个节日PPT下载链接&#xff1a;https://pan.baidu.com/s/1j6Yj-7UCcUyV4V_S_eGjpQ?pwd6666 提取码&#xff1a;6666 Python采集代码下载链接&#xff1a;采集代码.zip - 蓝奏云 学习知识费力气&#xff0c;收集整理更不易…...

编程日记 2023/12/2 19:17:47