当前位置： 首页 > news >正文

Apache Dolphinscheduler可视化 DAG 工作流任务调度系统

news 2026/5/16 6:20:35

Apache Dolphinscheduler

关于

一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

DolphinScheduler 的主要特性如下：

  • 易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes
  • 易于使用，可以通过四种方式创建和管理工作流，包括Web UI、Python SDK和Open API
  • 高可靠高可用，多主多从的去中心化架构，原生支持横向扩展
  • 高性能，性能比其他编排平台快N倍，每天可支持千万级任务
  • Cloud Native，DolphinScheduler支持编排多云/数据中心工作流，支持自定义任务类型
  • 对工作流和工作流实例（包括任务）进行版本控制
  • 工作流和任务的多种状态控制，支持随时暂停/停止/恢复它们
  • 多租户支持
  • 其他如补数支持（Web UI 原生），包括项目和数据源的权限控制

快速开始

  • 如果想要体验
    • standalone 启动
    • Docker 启动
  • 想 Kubernetes 部署
    • Kubernetes 部署

系统部分截图

  • 主页：项目和工作流概览，包括最新的工作流实例和任务实例状态统计。 

    home

  • 工作流定义： 通过拖拉拽创建和管理工作流，轻松构建和维护复杂的工作流。 

    workflow-definition

  • 工作流树状图： 抽象的树形结构可以更清晰地理解任务之间的关系 

    workflow-tree

  • 数据源： 支持管理多种外部数据源，为MySQL、PostgreSQL、Hive、Trino等，并提供统一的数据访问能力。 

    data-source

  • 监控：实时查看master、worker和数据库的状态，包括服务器资源使用情况和负载情况，无需登录服务器即可快速进行健康检查。 

    monitor

二开参考：DolphinScheduler分布式调度系统二开 - 编译、打包、部署_dolphinscheduler 二次开发-CSDN博客 

相关文章：

Apache Dolphinscheduler可视化 DAG 工作流任务调度系统

Apache Dolphinscheduler 关于 一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 DolphinScheduler 的主要特性如下： 易于部署，提供四种部署方式&am…...

编程日记 2024/12/9 23:31:14

docker 部署共享文档ZFile

1、拉取ZFile镜像 docker pull crpi-k5k93ldwfc7o75ip.cn-hangzhou.personal.cr.aliyuncs.com/tirling-pdf/zfile:latest 2、创建文件夹和进入文件夹 mkdir zfile && cd zfile 3、创建docker-compose.yml配置文件。 vim docker-compose.yml version: 3.3 service…...

编程日记 2024/12/9 23:26:08

面试题之JVM

一、Java虚拟机基本概念 题目1：Java虚拟机（JVM）是什么？ 选项： A. 一种编程语言 B. 一个可以执行Java字节码的虚拟机进程 C. 一个操作系统 D. 一个数据库 参考答案：B 解析：Java虚拟机是一个可…...

编程日记 2024/12/9 23:22:03

二叉树的深搜（不定期更新。。。。。）

二叉树的深搜 验证二叉搜索树 给你一个二叉树的根节点 root ，判断其是否是一个有效的二叉搜索树。 有效 二叉搜索树定义如下： 节点的左 子树 只包含 小于 当前节点的数。 节点的右子树只包含 大于 当前节点的数。 所有左子树和右子树自身必须也是二叉…...

编程日记 2024/12/9 23:18:59

WebLLM Chat：无服务器、私密的AI聊天体验

简介 什么是 Web-LLM ? Web-LLM 是一个高性能的浏览器内语言模型推理引擎，允许用户在没有服务器支持的情况下直接在网页浏览器中进行语言模型推理。它利用 WebGPU 进行硬件加速，从而实现强大的 LLM 操作。Web-LLM 完全兼容 OpenAI API，支持…...

编程日记 2024/12/9 23:11:51

C#中的模拟服务器与客户端建立连接

创建一个控制台项目，命名为Server，模拟服务器端。在同一个解决方案下，添加新项目，命名为Client，模拟客户端。在服务器端与客户端之间建立TCP连接，并在客户端发送消息，在服务器端输出。 Server项…...

编程日记 2024/12/9 23:07:47

【深度学习】利用Java DL4J 构建和训练医疗影像分析模型

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s…...

编程日记 2024/12/9 23:04:43

application.yml 和 bootstrap.yml

在 Spring Boot 中，application.yml 和 bootstrap.yml 都是用来配置应用程序的属性文件，通常用于环境配置、服务配置等。但是，它们有一些不同的用途和加载顺序。以下是它们之间的主要区别： 1. application.yml： 主要…...

编程日记 2024/12/9 23:01:39

使用uniapp开发小程序场景：在百度地图上调用接口返回的设备相关信息并展示

首先在百度地图开发者平台注册微信小程序开发密钥下载百度地图SDK-bmap-wx.min.js,下载地址在项目入口index.html页面进行引入页面中进行调用&#xff0c;代码示例如下<map id"map" longitude"108.95" latitude"34.34" scale"3" :m…...

编程日记 2024/12/9 22:58:34

ubuntu22.04 使用可以用的镜像源获取你要的镜像

默认的是不行的 不管pull啥镜像 仍然会出现这个错误 Error response form daemon:Get "https://registry-1.docker.io/v2": net/http: request canceled while waiting for connection (Client.Timeout exceeded while await) 操作方法是 如果在目录没有/etc/docker…...

编程日记 2024/12/9 22:57:33

Flume——sink连接hdfs的参数配置（属性参数+时间参数）

这可不是目录 配置文件官网说明属性参数时间参数 配置文件官网说明 可以参考官网的说明 属性参数 属性名称默认值说明channel-type-组件类型名称&#xff0c;必须是hdfshdfs.path-HDFS路径&#xff0c;例如&#xff1a;hdfs://mycluster/flume/mydatahdfs.filePrefixFlumeDa…...

编程日记 2024/12/9 22:54:30

python+docker实现分布式存储的demo

test.py代码 #test.py from flask import Flask, request, jsonify import requests import sys import threadingapp Flask(__name__)# 存储数据 data_store {}# 节点列表&#xff0c;通过环境变量传入 nodes [] current_node Noneapp.route(/set, methods[POST]) def …...

编程日记 2024/12/9 22:51:26

go-blueprint create exit status 1

1. 异常信息 2024/12/06 10:59:19 Could not initialize go.mod in new project exit status 1 2024/12/06 10:59:19 Problem creating files for project. exit status 1 Error: exit status 12. 排查思路 手动进行go mod init查看手动的报错解决报错 3. 解决问题 发现是GO11…...

编程日记 2024/12/9 22:49:23

如何更改Git用户名 - 本地与全局设置指南

在开发过程中&#xff0c;当使用Git作为版本控制系统时&#xff0c;可能会遇到需要更改用户名的情况&#xff0c;适时更新Git配置是保持项目管理效率的重要环节。更改Git用户名可以帮助确保您的提交反映了当前的用户身份&#xff0c;这对于项目的协作和历史记录跟踪至关重要。 …...

编程日记 2024/12/9 22:46:19

Node.js JWT认证教程

Node.js JWT认证教程 1. 项目介绍 JSON Web Token (JWT) 是一种安全的跨域身份验证解决方案&#xff0c;在现代Web应用中广泛使用。本教程将详细讲解如何在Node.js中实现JWT认证。 2. 项目准备 2.1 初始化项目 # 创建项目目录 mkdir nodejs-jwt-auth cd nodejs-jwt-auth# …...

编程日记 2024/12/9 22:42:13

【青牛科技】应用于音频信号处理系统的D258 是由两个独立的高增益运算放大器组成

概述&#xff1a; D258是由两个独立的高增益运算放大器组成。可以是单电源工作&#xff0c;也可以是双电源工作,电源的电流消耗与电源电压大小无关。应用范围包括变频放大器、DC增益部件和所有常规运算放大电路。 主要特点&#xff1a; ● 可单电源或双电源 工作 ● 在一个封…...

编程日记 2024/12/9 22:40:11

HTML Input 文件上传功能全解析:从基础到优化

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…...

编程日记 2024/12/9 22:37:07

小程序 —— Day1

组件 — view和scroll-view view 类似于HTML中的div&#xff0c;是一个块级元素 案例&#xff1a;通过view组件实现页面的基础布局 scroll-view 可滚动的视图区域&#xff0c;用来实现滚动列表效果 案例&#xff1a;实现纵向滚动效果 scroll-x属性&#xff1a;允许横向滚动…...

编程日记 2024/12/9 22:33:03

4.5 TCP 报文段的首部格式

欢迎大家订阅【计算机网络】学习专栏&#xff0c;开启你的计算机网络学习之旅&#xff01; 文章目录 前言1 TCP 报文段的基本结构2 固定部分2.1 源端口与目的端口2.2 序号2.3 确认号2.4 数据偏移2.5 保留字段2.6 控制位2.7 窗口2.8 检验和2.9 紧急指针 3 可变部分3.1 选项3.2 填…...

编程日记 2024/12/9 22:31:00

SQL 获取今天的当月开始结束范围:

使用 GETDATE() 结合 DATEADD() 和 DATEDIFF() 函数来获取当前月的开始和结束时间范围。以下是实现当前月时间范围查询的 SQL&#xff1a; FDATE > DATEADD(MONTH, DATEDIFF(MONTH, 0, GETDATE()), 0) FDATE < DATEADD(MONTH, DATEDIFF(MONTH, 0, GETDATE()) 1, 0) …...

编程日记 2024/12/9 22:25:54

CircuitPython实战：用传感器数据驱动NeoPixel灯光效果

1. 项目概述如果你刚拿到一块像Adafruit Circuit Playground Express这样的开发板&#xff0c;看着上面一圈彩色的NeoPixel LED和一堆传感器&#xff0c;可能会有点无从下手。别担心&#xff0c;这几乎是每个嵌入式开发者的必经之路。这块板子集成了光传感器、温度传感器、加速…...

编程新知 2026/5/16 5:18:21

为什么你的v8出图突然“高级感崩塌”？3分钟定位色彩语义锚点失效+实时修复模板

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;为什么你的v8出图突然“高级感崩塌”&#xff1f; V8 引擎本身并不直接“出图”——这一表述实为开发者对前端渲染链路中某环节异常的戏谑指代。真正崩塌的&#xff0c;往往是基于 V8 驱动的 Canvas/We…...

编程新知 2026/5/16 4:44:15

基于Claude的AI编程助手：从代码生成到自动化审查的全流程实践

1. 项目概述&#xff1a;当Claude遇上代码&#xff0c;一个全能型AI编程助手的诞生最近在GitHub上闲逛&#xff0c;发现了一个挺有意思的项目&#xff0c;叫“everything-claude-code”。光看名字&#xff0c;你可能会觉得这又是一个普通的AI代码生成工具&#xff0c;但实际深入…...

编程新知 2026/5/16 2:05:24

构建个人技能图谱：从GitHub项目到结构化能力管理实践

1. 项目概述&#xff1a;一个技能图谱的构建与价值 最近在整理自己的技术栈时&#xff0c;发现了一个挺有意思的GitHub项目&#xff0c;标题是“headlike-oradexon12/skills”。乍一看&#xff0c;这像是一个个人技能仓库&#xff0c;但深入探究后&#xff0c;我发现它远不止是…...

编程新知 2026/5/16 1:56:40

用TensorFlow 2.0复现Mask R-CNN：从ResNet主干到ROI Align的保姆级代码解读

TensorFlow 2.0实现Mask R-CNN核心技术解析&#xff1a;从ResNet到ROI Align的工程实践 在计算机视觉领域&#xff0c;实例分割一直是最具挑战性的任务之一。它不仅需要精确地定位物体&#xff0c;还要在像素级别上区分不同实例。本文将深入探讨如何用TensorFlow 2.0实现Mask R…...

编程新知 2026/5/16 1:04:39

Go语言内存管理与性能优化

Go语言内存管理与性能优化 一、内存管理基础 Go语言采用自动内存管理机制&#xff0c;开发者无需手动管理内存分配和释放。理解Go的内存管理机制对于编写高性能代码至关重要。 Go内存分配器 Go使用tcmalloc&#xff08;Thread-Caching Malloc&#xff09;作为底层内存分配器&am…...

编程新知 2026/5/15 22:36:21

OCPP 1.6 协议详解：ClearChargingProfile 清除充电配置文件指令

一、指令概述 ClearChargingProfile&#xff08;清除充电配置文件&#xff09;是OCPP 1.6协议中由中央系统发起的管理指令&#xff0c;用于删除充电桩的一个或多个充电配置文件。通过此指令&#xff0c;中央系统可以清理不再需要的配置文件&#xff0c;恢复默认设置&#xff0…...

编程新知 2026/5/15 22:10:32

8岁小学生idea直接变应用，秒哒3.0刚刚把AI应用门槛打没了

允中 发自 凹非寺量子位 | 公众号 QbitAI“做应用”这件事&#xff0c;现在真的老少咸宜了&#xff1a;一个二年级小朋友&#xff0c;做了个“拼伞小程序”和操作系统。一个4人团队&#xff0c;没写过代码&#xff0c;7天搭出了覆盖9万老人的智慧养老平台。还有人靠AI做依恋类型…...

编程新知 2026/5/15 21:31:32

告别手动填坑：用SSC工具+Excel快速搞定LAN9252 EtherCAT从站XML配置（附64点IO实例）

高效配置LAN9252 EtherCAT从站的自动化工具链实践 在嵌入式工业通信领域&#xff0c;EtherCAT因其卓越的实时性能被广泛采用&#xff0c;而LAN9252作为高性价比的从站控制器芯片&#xff0c;配合SPI接口成为许多开发者的首选方案。然而传统XML配置流程的复杂性往往成为项目瓶颈…...

编程新知 2026/5/15 20:56:24

如何利用 Taotoken 为 Hermes Agent 提供自定义模型支持

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 如何利用 Taotoken 为 Hermes Agent 提供自定义模型支持 对于使用 Hermes Agent 构建复杂应用的开发者而言&#xff0c;其强大的自…...

编程新知 2026/5/15 19:56:48