当前位置：首页 > news >正文

基于K8S环境部署Dolphinscheduler及简单应用

news 2026/4/5 2:13:00

一、Dolphinscheduler简介

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。

Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。 DolphinScheduler 以 DAG（Directed Acyclic Graph，DAG）流式方式组装任务，可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

在这里插入图片描述

二、本章目标

基于K8S环境完成Dolphinscheduler部署
使用本地文件存储而非 HDFS 和 S3
基于K8S环境Dolphinscheduler简单应用（支持Python3和MySQL数据源及工作流编排）

三、前提条件

具备 Kubernetes 1.12+ 集群（

基于K8S环境部署Dolphinscheduler及简单应用

一、Dolphinscheduler简介 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用…...

编程日记 2023/8/15 16:32:51

Linux的ln命令

ln是link的缩写,在Linux中 ln 命令的功能是为某一个文件在另外一个位置建立一个同步的链接，当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录&#xff0…...

编程日记 2023/8/15 16:31:50

深入了解Bear Necessities Hackathon黑客松的优胜者们

生态系统中的资深建设者皆知道Moonbeam是大型黑客松狂热爱好者，不论是线上虚拟的还是现场的。然而，很少有黑客松能达到Moonbeam和AWS举办的Bear Necessities黑客松这样的规模和吸引力。本次黑客松共有755人参与，共提交了62份参赛作品。其中22…...

编程日记 2023/8/15 16:30:49

mysql-tokudb使用qa

一、使用前提安装tokudb引擎的前提条件是物理机要关闭大页，并需要注意物理机所剩内存和配置文件中tokudb_cache_size（内存主要占用部分），innodb_buffer_pool_size的使用，另外tokudb的安装一定要安装libjemalloc依赖&…...

编程日记 2023/8/15 16:29:48

对比学习论文综述总结

第一阶段：百花齐放（18-19中）有InstDisc(Instance Discrimination)、CPC、CMC代表工作。在这个阶段方法模型都还没有统一，目标函数也没有统一，代理任务也没有统一，所以说是一个百花齐放的时代 1 判别式代理任务---个体判别任务 1.1 Inst Dict---一个编码器+一个memory…...

编程日记 2023/8/15 16:28:47

【BASH】回顾与知识点梳理（二十三）

【BASH】回顾与知识点梳理二十三二十三. Linux 账号管理（二）23.1 账号管理新增与移除使用者： useradd, 相关配置文件, passwd, usermod, userdelusermoduserdel 23.2 用户功能（普通用户可使用）idfingerchfnchsh 23.3…...

编程日记 2023/8/15 16:27:46

用 Python 写一个 NoSQL 数据库

NoSQL 这个词在近些年正变得随处可见. 但是到底 “NoSQL” 指的是什么? 它是如何并且为什么这么有用? 在本文, 我们将会通过纯 Python (我比较喜欢叫它, “轻结构化的伪代码”) 写一个 NoSQL 数据库来回答这些问题. OldSQL 很多情况下, SQL 已经成为 “数据库” (database)…...

编程日记 2023/8/15 16:26:44

Spring Security自定义登陆界面和密码验证逻辑

maven依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-security</artifactId> </dependency> 创建配置文件处理跳转拦截等功能以及密码比对功能 package com.example.demo2.demos.web1;…...

编程日记 2023/8/15 16:25:43

Android布局【LinearLayout】

文章目录常见属性orientation的选择项解释项目结构主要代码常见属性 orientation：布局中组件的排列方式gravity：控制组件所包含的子元素的对齐方式，可多个组合layout_gravity：控制该组件在父容器里的对齐方式background&#x…...

编程日记 2023/8/15 16:24:42

搭建grafana+loki+promtail日志收集系统

准备工作下载地址 https://github.com/grafana/loki/releases 安装包放在服务器目录：/opt wget https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-amd64.zip wget https://github.com/grafana/loki/releases/download/v2.4.2/promtail-lin…...

编程日记 2023/8/15 16:23:41

Electron+vue3项目使用SQLite3数据库

SQLite 是一个进程内的库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库，这意味着与其他数据库不一样，我们不需要在系统中配置。就像其他数据库，SQLite 引擎不是一个独立的进程&am…...

编程日记 2023/8/15 16:22:40

SpringSpringBoot常用注解

目录一、核心注解二、Spring Bean 相关2.1 Autowired2.2 Component, Repository, Service, Controller2.3 RestController 与 Controller2.4 Configuration 与 Component2.5 Scope 三、处理常见的 HTTP 请求类型3.1 GET 请求3.2 POST 请求3.3 PUT 请求3.4 DELETE 请求3.5 PATC…...

编程日记 2023/8/15 16:21:38

题目：2566.替换一个数字后的最大差值

题目来源： leetcode题目，网址：2566. 替换一个数字后的最大差值 - 力扣（LeetCode） 解题思路： 将从左到右第一个非 9 数字全部修改为 9 以得到最大值。将从左到右第一个数字全部修改为 0 以得到最小值&a…...

编程日记 2023/8/15 16:20:37

使用 NLP 进行文本摘要

一、说明文本摘要是为较长的文本文档生成简短、流畅且最重要的是准确摘要的过程。自动文本摘要背后的主要思想是能够从整个集合中找到最重要信息的一小部分，并以人类可读的格式呈现。随着在线文本数据的增长，自动文本摘要方法可能会非常有用&#xff0c…...

编程日记 2023/8/15 16:19:34

vue3挂载全局方法和组件

话不多说直接上代码 main.js import { createApp } from vue import App from ./App.vueconst app createApp(App)// 注册全局方法和组件 function myMethod(){console.log(Hello, world!); } app.provide("myMethod", myMethod) // provide注册全局方法 inject获取…...

编程日记 2023/8/15 16:18:33

mybatisplus学习笔记

1.踩过的坑 1.MybatisPlus 要与其代码生成器的版本一致； 2.要使用新版代码（3.5.1及以上）生成器则要使用springboot3，如果用springboot2使用新版代码生成器会导致builder.parent(“com.sdfsf”) // 设置父包名》重复！&…...

编程日记 2023/8/15 16:17:32

go mod 添加私有库GOPRIVATE

私有地址形式仓库域名/组织名形式仓库域名形式*仓库域名示例私有地址： gitee.com/takujo_admin 或者igitlab.com 多个私有地址,分割，示例： gitee.com,igitlab.com 修改env go env -w GOPRIVATE"私有地址" go env -w …...

编程日记 2023/8/15 16:16:30

07-HDFS入门及shell命令

1 文件系统是一种存储和组织数据的方法，它使得文件访问和查询变得容易使得文件和树形目录的抽象逻辑概念代替了磁盘等物理设备使用数据块的概念，用户使用文件系统来保存数据不必关心数据底层存在硬盘哪里，只需记住这个文件的所属目录和文件…...

编程日记 2023/8/15 16:15:29

TiDB在科捷物流神州金库核心系统的应用与实践

业务背景北京科捷物流有限公司于2003年在北京正式成立，是ISO质量管理体系认证企业、国家AAAAA级物流企业、海关AEO高级认证企业，注册资金1亿元，是中国领先的大数据科技公司——神州控股的全资子公司。科捷物流融合B2B和B2C的客户需求&#…...

编程日记 2023/8/15 16:14:28

React 18 更新 state 中的数组

参考文章更新 state 中的数组数组是另外一种可以存储在 state 中的 JavaScript 对象，它虽然是可变的，但是却应该被视为不可变。同对象一样，当想要更新存储于 state 中的数组时，需要创建一个新的数组（或者创建一份已…...

编程日记 2023/8/15 16:13:27

【UVM】UVM类型转换方法详解与代码示例--$cast/静态转换/虚方法/Factory覆盖/类型识别+转换/Callback机制

UVM类型转换方法详解与代码示例一、六种类型转换方法的代码示例 1. $cast方法（运行时检查） // 基类和子类定义 class Base extends uvm_object;virtual function void display();`uvm_info("BASE", "Base class display", UVM_LOW);endfunction endc…...

编程新知 2026/4/5 1:43:40

CAN总线分析仪实战：从安装配置到数据收发调试全解析

1. CAN总线分析仪入门指南第一次接触CAN总线分析仪的朋友可能会觉得这东西有点神秘，其实它就是个帮我们和汽车电子设备"对话"的翻译官。我刚开始用的时候也是一头雾水，后来发现只要掌握几个关键步骤，就能轻松上手。现在市面上常见…...

编程新知 2026/4/5 1:41:40

【源码深度】Android 触摸事件分发机制全解析｜吃透 dispatch、intercept、onTouchEvent 与滑动冲突｜Android全栈体系150讲-09

...

编程新知 2026/4/5 1:04:55

基于WebAssembly的Harness扩展机制

基于WebAssembly的Harness扩展机制：构建灵活、安全且高性能的CI/CD生态系统一、引言钩子 (The Hook) 想象一下这个场景：您正在使用Harness构建您的CI/CD流水线，但您需要一个特定的功能——也许是一个专有的代码扫描工具，或者是与您内部系统集成的自定义步骤。传统上，…...

编程新知 2026/4/5 0:56:47

VLCD车载LCD驱动框架：确定性刷新与跨SoC移植实践

1. VLCD库概述：面向CARIAD车载信息娱乐系统的TFT-LCD底层驱动框架VLCD（Virtual LCD）是一个专为大众集团CARIAD软件平台定制的轻量级、可移植TFT-LCD显示驱动抽象层。它并非通用图形库，而是聚焦于车载HMI（人机交互&…...

编程新知 2026/4/5 0:22:00

Stratovirt安装及使用

文章目录安装创建虚拟机安装硬件要求处理器架构：仅支持AArch64和x86_64处理器架构。AArch64需要ARMv8及更高版本且支持虚拟化扩展；x86_64支持VT-x。软件要求操作系统：openEuler 20.09及更高版本我当前安装的stratovirt版本是2.1.0&…...

编程新知 2026/4/4 23:09:11

2026届毕业生推荐的五大AI论文网站实际效果

Ai论文网站排名（开题报告、文献综述、降aigc率、降重综合对比） TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 倚仗自然语言处理跟学术知识图谱技术的AI开题报告工具，能够快速生成研究背景、文…...

编程新知 2026/4/4 23:01:07