当前位置：首页 > news >正文

分布式作业调度框架——ElasticJob

news 2025/7/15 4:30:56

1、简介

ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案，由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。它通过弹性调度、资源管控、以及作业治理的功能，打造一个适用于互联网场景的分布式调度解决方案，并通过开放的架构设计，提供多元化的作业生态。它的各个产品使用统一的作业 API，开发者仅需一次开发，即可随意部署。
在这里插入图片描述

1.1、发展历程

Elastic job是当当网架构师张亮,曹昊和江树建等基于Zookepper、Quartz开发并开源的一个Java分布式定时任务，解决了Quartz不支持分布式的弊端。Elastic job主要的功能有支持弹性扩容，通过Zookepper集中管理和监控job，支持失效转移等，这些都是Quartz等其他定时任务无法比拟的。

在经过 alpha、beta、RC1 版本的打磨后， ElasticJob 3.0.0 版本正式发布！这是 ElasticJob 项目自 2020 年 5 月 28 日重启并成为 Apache ShardingSphere 子项目以来的第一个正式版本。

1.2、开源协议

ElasticJob 已于 2020 年 5 月 28 日成为 Apache ShardingSphere 的子项目。

2、功能列表

2.1、弹性调度

支持任务在分布式场景下的分片和高可用
能够水平扩展任务的吞吐量和执行效率
任务处理能力随资源配备弹性伸缩

2.2、资源分配

在适合的时间将适合的资源分配给任务并使其生效
相同任务聚合至相同的执行器统一处理
动态调配追加资源至新分配的任务

2.3、资源分配

在适合的时间将适合的资源分配给任务并使其生效
相同任务聚合至相同的执行器统一处理
动态调配追加资源至新分配的任务

2.4、作业治理

失效转移
错过作业重新执行
自诊断修复

2.5、作业依赖（TODO）

基于有向无环图（DAG）的作业间依赖
基于有向无环图（DAG）的作业分片间依赖

2.6、作业开放生态

可扩展的作业类型统一接口
丰富的作业类型库，如数据流、脚本、HTTP、文件、大数据等
易于对接业务作业，能够与 Spring 依赖注入无缝整合

2.7、可视化管控端

作业管控端
作业执行历史数据追踪
注册中心管理

3、架构设计及原理

3.1、架构设计

在这里插入图片描述
定位为轻量级无中心化解决方案，使用 jar 的形式提供分布式任务的协调服务。

3.2、功能原理

3.2.1、调度模型

进程内调度：ElasticJob-Lite 是面向进程内的线程级调度框架。通过它，作业能够透明化的与业务应用系统相结合。它能够方便的与 Spring 、Dubbo 等 Java 框架配合使用，在作业中可自由使用 Spring 注入的 Bean，如数据源连接池、Dubbo 远程服务等，更加方便的贴合业务开发。

3.2.2、弹性调度

弹性调度是 ElasticJob 最重要的功能，也是这款产品名称的由来。它是一款能够让任务通过分片进行水平扩展的任务处理系统。

任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个或几个分片项。举例说明，如果作业分为 4 片，用两台服务器执行，则每个服务器分到 2 片，分别负责作业的 50% 的负载，如下图所示。

在这里插入图片描述
ElasticJob-Lite 实现原理：
ElasticJob-Lite 并无作业调度中心节点，而是基于部署作业框架的程序在到达相应时间点时各自触发调度。注册中心仅用于作业注册和监控信息存储。而主作业节点仅用于处理分片和清理等功能。
弹性分布式实现：

第一台服务器上线触发主服务器选举。主服务器一旦下线，则重新触发选举，选举过程中阻塞，只有主服务器选举完成，才会执行其他任务。
某作业服务器上线时会自动将服务器信息注册到注册中心，下线时会自动更新服务器状态。
主节点选举，服务器上下线，分片总数变更均更新重新分片标记。
定时任务触发时，如需重新分片，则通过主服务器分片，分片过程中阻塞，分片结束后才可执行任务。如分片过程中主服务器下线，则先选举主服务器，再分片。
通过上一项说明可知，为了维持作业运行时的稳定性，运行过程中只会标记分片状态，不会重新分片。分片仅可能发生在下次任务触发前。
每次分片都会按服务器IP排序，保证分片结果不会产生较大波动。
实现失效转移功能，在某台服务器执行完毕后主动抓取未分配的分片，并且在某台服务器下线后主动寻找可用的服务器执行任务。

4、集成方案

ElasticJob-Lite 支持原生 Java、Spring Boot Starter 和 Spring 自定义命名空间 3 种使用方式。
基于 ElasticJob Spring Boot Starter 使用 ElasticJob ，用户无需手动创建 CoordinatorRegistryCenter、JobBootstrap 等实例，只需实现核心作业逻辑并辅以少量配置，即可利用轻量、无中心化的 ElasticJob 解决分布式调度问题。

4.1、Spring Boot集成ElasticJob Lite

第一步安装zookeeper:

下载：Zookeeper

第二步下载安装运维平台

下载UI：运维UI平台