当前位置： 首页 > news >正文

宕机了？！DolphinScheduler 高可用和 Failover 机制关键时刻保命

news 2025/6/27 22:13:33

file

高可用性是 Apache DolphinScheduler 的特性之一。它通过冗余来避免单点问题，所有组件天然支持横向扩容；但仅仅保证了冗余还不够，当系统中有节点宕机时，还需要有故障转移机制能够自动将宕机节点正在处理的工作转移到新节点上执行，从而实现高可用。

01 DolphinScheduler架构介绍

Apache DolphinScheduler是一个分布式易扩展的工作流编排调度系统。其核心架构主要由3部分组成：APIServer, Master, Worker。

其中API-Server负责接收所有的用户操作请求，Master负责工作流的编排和调度，Worker负责工作流中任务的执行。整个系统通过注册中信做服务发现，通过数据库持久化元数据。 file

一个工作流执行的生命周期如下：

  1. 在API-Server中创建，并将元数据持久化到DB中。
  2. 通过手动点击或定时执行生成一个触发工作流执行的Command写入DB。
  3. Master消费DB中的Command，开始执行工作流，并将工作流中的任务分发给Worker执行。
  4. 当整个工作流执行结束之后，Master结束工作流的执行。

02 DolphinScheduler集群高可用

分布式系统中必须要考虑的因素是系统整体的高可用（HA）。高可用指的是系统整体能够对外提供服务的时间占比很高，系统因为故障而无法提供服务的时间占比很短。

为了保证系统的高可用，架构的一个设计原则是通过冗余来避免出现单点问题。单点问题是指系统中某一任务组件只有单个实例，如果该实例出现了故障，那么会导致系统整体不可用。

Apache DolphinScheduler也是通过冗余来避免单点问题，在DolphinScheduler中，所有组件天然就支持横向扩容。

01 API-Server高可用

对于API-Server来说，由于API-Server是一个无状态服务，因此API-Server可以很容易的通过部署多台来保证高可用。在部署多台API-Server之后，只需要将他们注册在同一网关，即可一起对外提供服务。 file

02 Master高可用

Master作为DolphinScheduler中处理工作流的核心组件，其可用性直接关系到整个系统的稳定性。

由于Master并不像API-Server一样只是被动的接收外界的请求，Master会主动的消费数据库中的工作流，而一个工作流在某一时刻只能被一个Master处理，因此Master在横向扩容的时候需要考虑的问题更多。

一种比较简单的方案是采用active-standby的方式，即部署多台Master服务，但是只有一台处于active状态，对外工作，其他Master服务都处于standby状态，只有等active的Master宕机，standby状态的Master会重新选举出一台新的active Master对外工作。 file

这种方案实现起来简单，同时可以很好的解决Master单点问题，但是这种active-standby的架构同一时刻只能有一台Master进行工作，对于DolphinScheduler来说，由于Master需要处理工作流的调度，因此这会导致整个集群的工作流处理吞吐量上不去。

在DolphinScheduler中采用分片的方式对工作流元数据进行了预划分，具体来说对工作流产生的command根据id进行分片，将command均匀的分散到所有的Master，这样来达到所有Master都可以同时工作，并且不会互相影响。

file Master通过注册中心来感知集中其他Master的节点信息，由于当节点上下线的时候，Master的元数据变更通知到所有Master服务时间会不一致，因此通过数据库事务做了进一步的保障，保证同一个Command只会被处理一次。

03 Worker高可用

Worker作为DolphinScheduler中任务执行组件，其扩展比较容易，这是由于在设计上，Worker主要是被动的接收Master分发的任务，他不会主动去数据库中拉取任务。因此Woker只需要在横向扩容之后注册到注册中心即可，Master会通过注册中心感知到Worker的元数据变更。

03 DS中的Failover实现原理

仅仅保证了冗余还不够，当系统中有节点宕机时，还需要有故障转移机制能够自动将宕机节点正在处理的工作转移到新节点上执行。在DolphinScheduler中所有的故障转移工作都由Master完成。

Master会监听注册中心中所有Master和Worker的健康状况，一旦有节点下线，所有Master会收到该节点下线的事件，然后执行容错逻辑。

通过竞争分布式锁的方式来决定由谁来进行本次故障转移操作。

在执行容错操作时，会根据Master/Worker的类型不同执行不同的容错操作。对于发生Master容错时，所有存活的Master会通过竞争分布式锁的方式来决定由谁来进行本次故障转移操作，竞争到分布式锁的Master会去数据库中查询出宕机节点中正在运行的工作流实例生成容错请求。对于发生Worker容错，所有Master会找出当前内存中是否有正在该Worker上运行的任务，如果有那么触发任务容错逻辑。

一种特殊情况是，可能集群中所有Master都宕机了，那么此时没有Master可以执行容错逻辑，因此当后面集群恢复时，在Master启动的时候也会进行容错逻辑。

本文由 白鲸开源科技 提供发布支持！

相关文章：

宕机了？！DolphinScheduler 高可用和 Failover 机制关键时刻保命

高可用性是 Apache DolphinScheduler 的特性之一。它通过冗余来避免单点问题，所有组件天然支持横向扩容；但仅仅保证了冗余还不够，当系统中有节点宕机时，还需要有故障转移机制能够自动将宕机节点正在处理的工作转移到新节点上执行&…...

编程日记 2023/5/13 6:26:16

try(){}用法try-with-resources、try-catch-finally

属于Java7的新特性。 经常会用try-catch来捕获有可能抛出异常的代码。如果其中还涉及到资源的使用的话，最后在finally块中显示的释放掉有可能被占用的资源。 但是如果资源类已经实现了AutoCloseable这个接口的话，可以在try()括号中可以写操作资源的语句(…...

编程日记 2023/5/31 15:51:43

常见Http错误码学习

​ 常见 http 错误码 服务器巡检时比较常见的 http 错误码 400 Bad Request408 Request Timeout499 client has closed connection502 Bad Gateway504 Gateway Timeout 这些错误码反映了服务器什么样的状态，仅看字面意思还不太容易理解，就动手做个试验…...

编程日记 2023/5/13 6:16:14

qemu-基础篇——ARM 链接过程分析(六)

文章目录 ARM 链接过程分析源文件global_bss_file.cglobal_data_fle.cglobal_function_file.cglobal_rodata_file.cmain.c 链接文件 link.lds编译命令及反汇编命令解析 .o 文件global_bss_file.oglobal_data_fle.oglobal_function_file.oglobal_rodata_file.omain.o 链接观察链…...

编程日记 2023/5/13 6:11:12

Java企业工程项目管理系统+spring cloud 系统管理+java 系统设置+二次开发

工程项目各模块及其功能点清单 一、系统管理 1、数据字典：实现对数据字典标签的增删改查操作 2、编码管理：实现对系统编码的增删改查操作 3、用户管理：管理和查看用户角色 4、菜单管理：实现对系统菜单的增删改查操…...

编程日记 2023/5/13 6:06:11

Eureka与Zookeeper的区别

著名的CAP 理论指出，一个分布式系统不可能同时满足 C( 一致性 ) 、 A( 可用性 ) 和 P( 分区容错性 ) 。 由于分区容错性在是分布式系统中必须要保证的，因此我们只能在 A 和 C 之间进行权衡，在此 Zookeeper 保证的是 CP, 而 Eureka 则是 AP…...

编程日记 2023/5/31 18:53:31

顺序表和链表的各种代码实现

一、线性表 在日常生活中，线性表的例子比比皆是。例如，26个英文字母的字母表（A,B,C,……，Z）是一个线性表，表中的数据元素式单个字母。在稍复杂的线性表中，一个数据元素可以包含若干个数据项。例…...

编程日记 2023/5/31 18:55:25

C# 介绍三种不同组件创建PDF文档的方式

1 c# 数据保存为PDF（一） （spire pdf篇） 2 c# 数据保存为PDF（二） （Aspose pdf篇） 3 c# 数据保存为PDF（三） （PdfSharp篇） 组件名称 绘制…...

编程日记 2023/5/13 5:51:08

极简面试题 --- Redis

什么是 Redis？ Redis 是一个基于内存的键值存储系统，也被称为数据结构服务器。它支持多种数据结构，例如字符串、哈希表、列表、集合和有序集合，并且可以在内存中快速读写。 Redis 的优势有哪些？ 快速：由…...

编程日记 2023/5/13 5:46:08

可视化图表API格式要求有哪些？Sugar BI详细代码示例（4）

Sugar BI中的每个图表可以对应一个数据 API，用户浏览报表时，选定一定的过滤条件，点击「查询」按钮将会通过 API 拉取相应的数据；前面说过，为了确保用户数据的安全性，Sugar BI上的所有数据请求都在Sugar BI的…...

编程日记 2023/5/13 5:41:07

学习vue（可与知乎合并）

一：组件及交互 1、什么是组件？ 组件是可复用的 Vue 实例，且带有一个名字：在这个例子中是 。我们可以在一个通过 new Vue 创建的 Vue 根实例中，把这个组件作为自定义元素来使用： 声明组件 // 定义一个名…...

编程日记 2023/5/13 5:36:05

【UEFI实战】Linux下如何解析ACPI表

本文介绍如何在Linux下查看ACPI表示。使用的系统是Ubuntu18.04： Linux home 4.15.0-36-generic #39-Ubuntu SMP Mon Sep 24 16:19:09 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux 可以在如下的目录看到ACPI的基本信息： 但是默认的表都是不可以直接查看的&…...

编程日记 2023/5/13 5:31:04

Java-Redis持久化之RDB操作

Java-Redis持久化之RDB操作 1.为什么redis需要持久化？2.什么是RDB操作?3.请你用自己的话讲下RDB的过程?4.如何恢复rdb文件? 1.为什么redis需要持久化？ Redis是内存数据库，如果不将内存数据库保存到磁盘，那么服务器进程退出&am…...

编程日记 2023/5/13 5:26:03

信号signal编程测试

信号会打断系统调用，慎用，就是用的时候测一测。 下面是信号的基础测试 信号 信号（signal）机制是UNIX系统中最为古老的进程之间的通信机制。它用于在一个或多个进程之间传递异步信号。信号可以由各种异步事件产生，例如…...

编程日记 2023/5/13 5:21:02

Linux学习记录——이십삼 进程信号（2）

文章目录 1、可重入函数2、volatile关键字3、如何理解编译器的优化4、SIGCHLD信号 1、可重入函数 两个执行流都执行一个函数时，这个函数就被重入了。比如同一个函数insert，在main中执行时，这个进程时间片到了，嵌入了内核&#xf…...

编程日记 2023/5/13 5:15:59

Revit中如何创建曲面嵌板及一键成板

一、Revit中如何创建曲面嵌板 在我们的绘图过程中可能会遇见一些曲面形状，而我们的常规嵌板没办法满足我们绘制的要求，我们今天学习如何在revit中绘制曲面嵌板。 1.新建“自适应公制常规模型”族，创建4个点图元并为其使用自适应。 2.在相同的…...

编程日记 2023/5/13 5:10:57

STM32F4_DHT11数字温湿度传感器

目录 前言 1. DHT11简介 2. DHT11数据结构 3. DHT11的传输时序 3.1 DHT11开始发送数据流程 3.2 主机复位信号和DHT11响应信号 3.3 数字 “0” 信号表示方法 3.4 数字 “1” 信号表示方法 4. 硬件分析 5. 实验程序详解 5.1 main.c 5.2 DHT11.c 5.3 DHT11.h 前言 DH…...

编程日记 2023/5/13 5:05:57

WiFi（Wireless Fidelity）基础（十一）

目录 一、基本介绍（Introduction） 二、进化发展（Evolution） 三、PHY帧（（PHY Frame ） 四、MAC帧（MAC Frame ） 五、协议（Protocol） 六、安全&#x…...

编程日记 2023/5/13 5:00:56

操作系统—— 精髓与设计原理--期末复习

一、计算机系统概述 1、基本构成 计算机有四个主要的结构化部件： ①处理器（Processor）：控制计算机的操作，执行数据处理功能。当只有一个处理器时，它通常指中央处理器（CPU） ②内存…...

编程日记 2023/5/13 4:55:54

每天一道算法练习题--Day21 第一章 --算法专题 --- ----------位运算

我这里总结了几道位运算的题目分享给大家，分别是 136 和 137， 260 和 645， 总共加起来四道题。 四道题全部都是位运算的套路，如果你想练习位运算的话，不要错过哦～～ 前菜 开始之前我们先了解下…...

编程日记 2023/5/13 4:50:53

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2025/6/27 3:17:24

Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？

Golang 面试经典题&#xff1a;map 的 key 可以是什么类型&#xff1f;哪些不可以&#xff1f; 在 Golang 的面试中&#xff0c;map 类型的使用是一个常见的考点&#xff0c;其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...

编程新知 2025/6/21 16:06:37

深入解析C++中的extern关键字：跨文件共享变量与函数的终极指南

&#x1f680; C extern 关键字深度解析&#xff1a;跨文件编程的终极指南 &#x1f4c5; 更新时间&#xff1a;2025年6月5日 &#x1f3f7;️ 标签&#xff1a;C | extern关键字 | 多文件编程 | 链接与声明 | 现代C 文章目录 前言&#x1f525;一、extern 是什么&#xff1f;&…...

编程新知 2025/6/22 1:04:56

JVM虚拟机：内存结构、垃圾回收、性能优化

1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...

编程新知 2025/6/27 10:36:03

【Go语言基础【13】】函数、闭包、方法

文章目录 零、概述一、函数基础1、函数基础概念2、参数传递机制3、返回值特性3.1. 多返回值3.2. 命名返回值3.3. 错误处理 二、函数类型与高阶函数1. 函数类型定义2. 高阶函数&#xff08;函数作为参数、返回值&#xff09; 三、匿名函数与闭包1. 匿名函数&#xff08;Lambda函…...

编程新知 2025/6/16 16:17:22

面向无人机海岸带生态系统监测的语义分割基准数据集

描述&#xff1a;海岸带生态系统的监测是维护生态平衡和可持续发展的重要任务。语义分割技术在遥感影像中的应用为海岸带生态系统的精准监测提供了有效手段。然而&#xff0c;目前该领域仍面临一个挑战&#xff0c;即缺乏公开的专门面向海岸带生态系统的语义分割基准数据集。受…...

编程新知 2025/6/22 11:10:04

【从零学习JVM|第三篇】类的生命周期(高频面试题)

前言&#xff1a; 在Java编程中&#xff0c;类的生命周期是指类从被加载到内存中开始&#xff0c;到被卸载出内存为止的整个过程。了解类的生命周期对于理解Java程序的运行机制以及性能优化非常重要。本文会深入探寻类的生命周期&#xff0c;让读者对此有深刻印象。 目录 ​…...

编程新知 2025/6/21 15:44:43

day36-多路IO复用

一、基本概念 &#xff08;服务器多客户端模型&#xff09; 定义&#xff1a;单线程或单进程同时监测若干个文件描述符是否可以执行IO操作的能力 作用&#xff1a;应用程序通常需要处理来自多条事件流中的事件&#xff0c;比如我现在用的电脑&#xff0c;需要同时处理键盘鼠标…...

编程新知 2025/6/21 16:19:29

Web后端基础(基础知识)

BS架构&#xff1a;Browser/Server&#xff0c;浏览器/服务器架构模式。客户端只需要浏览器&#xff0c;应用程序的逻辑和数据都存储在服务端。 优点&#xff1a;维护方便缺点&#xff1a;体验一般 CS架构&#xff1a;Client/Server&#xff0c;客户端/服务器架构模式。需要单独…...

编程新知 2025/6/21 0:08:36

python爬虫——气象数据爬取

一、导入库与全局配置 python 运行 import json import datetime import time import requests from sqlalchemy import create_engine import csv import pandas as pd作用&#xff1a; 引入数据解析、网络请求、时间处理、数据库操作等所需库。requests&#xff1a;发送 …...

编程新知 2025/6/26 13:40:12