基于K8S环境部署Dolphinscheduler及简单应用
一、Dolphinscheduler简介
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。 DolphinScheduler 以 DAG（Directed Acyclic Graph，DAG）流式方式组装任务，可以及时监控任务的执行状态，支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。
二、本章目标
- 基于
K8S环境完成Dolphinscheduler部署 - 使用本地文件存储而非
HDFS和S3 - 基于
K8S环境Dolphinscheduler简单应用（支持Python3和MySQL数据源及工作流编排）
三、前提条件
- 具备
Kubernetes 1.12+集群（
相关文章：
基于K8S环境部署Dolphinscheduler及简单应用
一、Dolphinscheduler简介 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用…...
Linux的ln命令
ln是link的缩写,在Linux中 ln 命令的功能是为某一个文件在另外一个位置建立一个同步的链接，当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录࿰…...
深入了解Bear Necessities Hackathon黑客松的优胜者们
生态系统中的资深建设者皆知道Moonbeam是大型黑客松狂热爱好者，不论是线上虚拟的还是现场的。然而，很少有黑客松能达到Moonbeam和AWS举办的Bear Necessities黑客松这样的规模和吸引力。本次黑客松共有755人参与，共提交了62份参赛作品。其中22…...
mysql-tokudb使用qa
一、使用前提 安装tokudb引擎的前提条件是物理机要关闭大页，并需要注意物理机所剩内存和配置文件中tokudb_cache_size（内存主要占用部分），innodb_buffer_pool_size的使用，另外tokudb的安装一定要安装libjemalloc依赖&…...
对比学习论文综述总结
第一阶段：百花齐放（18-19中） 有InstDisc(Instance Discrimination)、CPC、CMC代表工作。在这个阶段方法模型都还没有统一，目标函数也没有统一，代理任务也没有统一，所以说是一个百花齐放的时代 1 判别式代理任务---个体判别任务 1.1 Inst Dict---一个编码器+一个memory…...
【BASH】回顾与知识点梳理（二十三）
【BASH】回顾与知识点梳理 二十三 二十三. Linux 账号管理（二）23.1 账号管理新增与移除使用者： useradd, 相关配置文件, passwd, usermod, userdelusermoduserdel 23.2 用户功能（普通用户可使用）idfingerchfnchsh 23.3…...
用 Python 写一个 NoSQL 数据库
NoSQL 这个词在近些年正变得随处可见. 但是到底 “NoSQL” 指的是什么? 它是如何并且为什么这么有用? 在本文, 我们将会通过纯 Python (我比较喜欢叫它, “轻结构化的伪代码”) 写一个 NoSQL 数据库来回答这些问题. OldSQL 很多情况下, SQL 已经成为 “数据库” (database)…...
Spring Security自定义登陆界面和密码验证逻辑
maven依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-security</artifactId> </dependency> 创建配置文件处理跳转拦截等功能以及密码比对功能 package com.example.demo2.demos.web1;…...
Android布局【LinearLayout】
文章目录 常见属性orientation的选择项解释项目结构主要代码 常见属性 orientation：布局中组件的排列方式gravity：控制组件所包含的子元素的对齐方式，可多个组合layout_gravity：控制该组件在父容器里的对齐方式background&#x…...
搭建grafana+loki+promtail日志收集系统
准备工作 下载地址 https://github.com/grafana/loki/releases 安装包放在服务器目录：/opt wget https://github.com/grafana/loki/releases/download/v2.4.2/loki-linux-amd64.zip wget https://github.com/grafana/loki/releases/download/v2.4.2/promtail-lin…...
Electron+vue3项目使用SQLite3数据库
SQLite 是一个进程内的库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库，这意味着与其他数据库不一样，我们不需要在系统中配置。 就像其他数据库，SQLite 引擎不是一个独立的进程&am…...
SpringSpringBoot常用注解
目录 一、核心注解二、Spring Bean 相关2.1 Autowired2.2 Component, Repository, Service, Controller2.3 RestController 与 Controller2.4 Configuration 与 Component2.5 Scope 三、处理常见的 HTTP 请求类型3.1 GET 请求3.2 POST 请求3.3 PUT 请求3.4 DELETE 请求3.5 PATC…...
题目：2566.替换一个数字后的最大差值
题目来源： leetcode题目，网址：2566. 替换一个数字后的最大差值 - 力扣（LeetCode） 解题思路： 将从左到右第一个非 9 数字全部修改为 9 以得到最大值。将从左到右第一个数字全部修改为 0 以得到最小值&a…...
使用 NLP 进行文本摘要
一、说明 文本摘要是为较长的文本文档生成简短、流畅且最重要的是准确摘要的过程。自动文本摘要背后的主要思想是能够从整个集合中找到最重要信息的一小部分，并以人类可读的格式呈现。随着在线文本数据的增长，自动文本摘要方法可能会非常有用，…...
vue3挂载全局方法和组件
话不多说直接上代码 main.js import { createApp } from vue import App from ./App.vueconst app createApp(App)// 注册全局方法和组件 function myMethod(){console.log(Hello, world!); } app.provide("myMethod", myMethod) // provide注册全局方法 inject获取…...
mybatisplus学习笔记
1.踩过的坑 1.MybatisPlus 要与其代码生成器的版本一致； 2.要使用新版代码（3.5.1及以上）生成器则要使用springboot3，如果用springboot2使用新版代码生成器会导致builder.parent(“com.sdfsf”) // 设置父包名》重复！&…...
go mod 添加私有库GOPRIVATE
私有地址 形式仓库域名/组织名形式仓库域名形式*仓库域名 示例私有地址： gitee.com/takujo_admin 或者igitlab.com 多个私有地址,分割，示例： gitee.com,igitlab.com 修改env go env -w GOPRIVATE"私有地址" go env -w …...
07-HDFS入门及shell命令
1 文件系统 是一种存储和组织数据的方法，它使得文件访问和查询变得容易使得文件和树形目录的抽象逻辑概念代替了磁盘等物理设备使用数据块的概念，用户使用文件系统来保存数据不必关心数据底层存在硬盘哪里，只需记住这个文件的所属目录和文件…...
TiDB在科捷物流神州金库核心系统的应用与实践
业务背景 北京科捷物流有限公司于2003年在北京正式成立，是ISO质量管理体系认证企业、国家AAAAA级物流企业、海关AEO高级认证企业，注册资金1亿元，是中国领先的大数据科技公司——神州控股的全资子公司。科捷物流融合B2B和B2C的客户需求&#…...
React 18 更新 state 中的数组
参考文章 更新 state 中的数组 数组是另外一种可以存储在 state 中的 JavaScript 对象，它虽然是可变的，但是却应该被视为不可变。同对象一样，当想要更新存储于 state 中的数组时，需要创建一个新的数组（或者创建一份已…...
7net-Omni：多任务学习驱动的通用机器学习原子间势模型解析与应用
1. 项目概述：为什么我们需要一个“全能”的原子模拟模型？ 在材料科学和计算化学领域，我们一直面临着一个核心矛盾：量子力学计算（如密度泛函理论，DFT）虽然精度高，但计算成本极其昂贵&…...
（支持资料、图片参考_降重降ai）_文章底部可以扫码)
自动售货机(设计源文件+万字报告+讲解)（支持资料、图片参考_降重降ai）_文章底部可以扫码
摘 要 自动售货机的应用，不仅可以充分节省人力资源，而且还促进商业贸易发展，给人们的生活带来诸多便利。可编程控制器作为控制系统的大脑，按照工艺说明分析，对各种外部输入信号按照系统的工艺分析结果及程序设计流程&…...
2026年降AI后语义失真攻略：过度改写论点跑偏4.8元修复语义同时达标完整方案
2026年降AI后语义失真攻略：过度改写论点跑偏4.8元修复语义同时达标完整方案 从AI率71%到5.9%，我用了一个晚上。降AI后语义失真修复完整经历。 核心工具：嘎嘎降AI（www.aigcleaner.com），4.8元，达…...
手把手教你解锁影驰B360M主板隐藏的fTPM 2.0，绕过限制升级Win11（附BIOS修改避坑指南）
解锁影驰B360M主板fTPM 2.0的完整实战手册当Windows 11的升级提示弹出时，许多使用影驰B360M主板的用户发现自己的设备被系统要求拒之门外——原因很简单：主板BIOS中缺少必要的fTPM 2.0支持选项。这并非硬件不支持，而是厂商在固件层面隐藏了相…...
告别默认图表：手把手教你定制VASPKIT的PLOT.In文件，画出符合期刊要求的能带图
科研绘图进阶：深度定制VASPKIT能带图的专业技巧在学术论文写作中，一张精心设计的能带图往往能成为研究成果的视觉名片。VASPKIT作为材料计算领域的利器，其自动绘图功能虽然便捷，但默认输出往往难以满足高端期刊的审美要求。本文将…...
打印机：解决windows打印任务卡死或者打印纸张喷墨不清晰的问题
问题概述买了一台型号较老的HP喷墨打印机，不知道是驱动问题还是打印机有问题，Windows在打印时老出现任务卡死或打印质量不佳（如喷墨不清晰）的问题。解决windows打印任务卡死试过很多种解决方案，大多都是浪费时间&#…...
Keil RTX5迁移调试问题与RTOS组件使用指南
1. 问题背景与现象分析最近在将项目从CMSIS-RTOS v1（Keil RTX v4.x）迁移到CMSIS-RTOS v2（Keil RTX v5.x）时，发现Vision调试器中的System and Thread Viewer窗口在调试会话中显示空白。这个现象让习惯了通过图形化界面监…...
K210开发板固件烧录：使用kflash_gui图形化工具的完整指南
K210开发板固件烧录：使用kflash_gui图形化工具的完整指南 【免费下载链接】kflash_gui Cross platform GUI wrapper for kflash.py (download(/burn) tool for k210) 项目地址: https://gitcode.com/gh_mirrors/kf/kflash_gui 在K210开发板生态系统中&#x…...
思源宋体TTF：解决中文Web排版痛点的专业方案
思源宋体TTF：解决中文Web排版痛点的专业方案 【免费下载链接】source-han-serif-ttf Source Han Serif TTF 项目地址: https://gitcode.com/gh_mirrors/so/source-han-serif-ttf 当我们构建现代中文网站时，字体选择往往成为最棘手的挑战之一。商业…...
Pulumi基础设施即代码实战：用Python和TypeScript管理云资源
Pulumi基础设施即代码实战：用Python/TypeScript管理云资源 作者：Crown_22 | AI Agent & Hermes Agent 桌面程序开发者 前言 Terraform 是基础设施即代码（IaC）领域的霸主，但它使用 HCL（HashiCorp Configuration Language）这种领域专用语言，学习曲线陡峭，调试困难，…...