当前位置： 首页 > news >正文

弹性资源组件elastic-resource设计(二)-集群

news 2025/9/6 7:44:31

简介

       弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。

       本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现。

关键词

资源消费者/资源管理器/任务管理器  弹性资源组件关联的3个主要角色

参考资料

相关文章：

弹性资源组件elastic-resource设计(二)-集群

简介 弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。 本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一…...

编程日记 2023/10/9 16:56:50

Flink学习笔记（一）：Flink重要概念和原理

文章目录 1、Flink 介绍2、Flink 概述3、Flink 组件介绍3.1、Deploy 物理部署层3.2、Runtime 核心层3.3、API&Libraries 层3.4、扩展库 4、Flink 四大基石4.1、Checkpoint4.2、State4.3、Time4.4、Window 5、Flink 的应用场景5.1、Event-driven Applications【事件驱动】5.…...

编程日记 2023/10/9 16:54:48

网络中的一些基本概念

数据共享本质是网络数据传输 ，即计算机之间通过网络来传输数据，也称为 网络通信 。 根据网络互连的规模不同，可以划分为局域网和广域网。 局域网 LAN 局域网，即 Local Area Network ，简称 LAN 。 Local 即标识了局…...

编程日记 2023/10/9 16:53:47

mysql中varchar长度为多少

一. varchar存储规则： 4.0版本以下，varchar(20)，指的是20字节，如果存放UTF8汉字时，只能存6个（每个汉字3字节） 5.0版本以上，varchar(20)，指的是20字符，无论存…...

编程日记 2023/10/9 16:52:46

python+selenium实现UI自动化（入门篇）

一、基础准备。 python环境安装，参考：CSDN pycharm安装，参考：CSDN 谷歌浏览器驱动配置，参考：CSDN二、新建pycharm项目 截图中，上面是项目地址（可以提前在指定位置创建文件夹&#xf…...

编程日记 2023/10/9 16:51:45

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict 1、nn.Sequential 、 nn.ModuleList 、 nn.ModuleDict 类都继承自 Module 类。2、nn.Sequential、nn.ModuleList 和 nn.ModuleDict语法3、Sequential 、ModuleDict、 ModuleList 的区别…...

编程日记 2023/10/9 16:50:44

【DevOps】搭建你的第一个 Docker 应用栈

搭建你的第一个 Docker 应用栈 1.Docker 集群部署2.第一个 Hello World2.1 获取应用栈各节点所需镜像2.2 应用栈容器节点互联2.3 应用栈容器节点启动2.4 应用栈容器节点的配置2.4.1 Redis Master 主数据库容器节点的配置2.4.2 Redis Slave 从数据库容器节点的配置2.4.3 Redis 数…...

编程日记 2023/10/9 16:48:42

软件测试职业生涯需要编写的全套文档模板，收藏这一篇就够了 ~

作为一名测试工程师，在整个的职业生涯中，会涉及到各种不同类型的文档编写，大体包括如下： 对应文档模板及文档编写视频如下： 一、测试岗位必备的文档 在一个常规的软件测试流程中，会涉及到测试计划、测试方…...

编程日记 2023/10/9 16:47:40

【Kubernetes】Pod——k8s中最重要的对象之一

Pod是什么？如何使用Pod？资源共享和通信Pod 中的存储Pod 联网：跨 Pod 通信 静态 Pod感谢 💖 Pod是什么？ Pod是k8s中创建和管理的、最小的可部署的计算单元。它包含一个或多个容器。就像豌豆荚里面包含了多个豌豆一样。…...

编程日记 2023/10/9 16:46:39

vue-cli-service: command not found问题解决

解决方案：重新安装一下： npm install -g vue/cli...

编程日记 2023/10/9 16:44:36

每日一练 | 华为认证真题练习Day117

1、缺省情况下，广播网络上OSPF协议Deadtime是？ A. 20s B. 40s C. 10s D. 30s 2、当两台OSPF路由器形成TWO-WAY邻居关系时，LSDB已完成同步，但是SPF算法尚未运行。 A. 对 B. 错 3、以下哪种协议不属于文件传输协？ …...

编程日记 2023/10/9 16:43:36

【JVM】垃圾回收（GC）详解

垃圾回收（GC）详解 一. 死亡对象的判断算法1. 引用计数算法2. 可达性分析算法 二. 垃圾回收算法1. 标记-清除算法2. 复制算法3. 标记-整理算法4. 分代算法 三. STW1. 为什么要 STW2. 什么情况下 STW 四. 垃圾收集器1. CMS收集器（老年代收集器&…...

编程日记 2023/10/9 16:42:35

阿里云服务器公网带宽多少钱1M？

阿里云服务器公网带宽计费模式按固定带宽”计费多少钱1M？地域不同带宽价格不同，北京、杭州、深圳等大陆地域价格是23元/Mbps每月，中国香港1M带宽价格是30元一个月，美国硅谷是30元一个月，日本东京1M带宽是25元一个月&am…...

编程日记 2023/10/9 16:41:34

应用DeepSORT实现目标跟踪

在ByteTrack被提出之前，可以说DeepSORT是最好的目标跟踪算法之一。本文，我们就来应用这个算法实现目标跟踪。 DeepSORT的官方网址是https://github.com/nwojke/deep_sort。但在这里，我们不使用官方的代码，而使用第三方代码&#…...

编程日记 2023/10/9 16:39:32

Beyond Compare 4 30天评估到期 解决方法

Beyond Compare 4 用习惯了，突然提示评估到期了，糟心😄 该方法将通过修改注册表，使BeyondCompare 版本4可以恢复到未评估状态，使其可以持续使用30天评估😄。 修改注册表 第一步：打开注册表。 在…...

编程日记 2023/10/9 16:38:30

化妆品用乙基己基甘油全球市场总体规模2023-2029

乙基己基甘油又名辛氧基甘油，分子式 C11H24O3，分子量 204.306，沸点 325℃，密度 0.962，无色液体，涂抹性能适中的润肤剂、保湿剂及润湿剂。它能够在提高配方滋润效果的同时又具有柔滑的肤感。加入在某些膏霜体…...

编程日记 2023/10/9 16:37:29

springboot家政服务管理平台springboot29

大家好✌！我是CZ淡陌。一名专注以理论为基础实战为主的技术博主，将再这里为大家分享优质的实战项目，本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目，希望你能有所收获，少走一些弯路…...

编程日记 2023/10/9 16:35:27

【网络安全】如何保护IP地址？

使用防火墙是保护IP地址的一个重要手段。防火墙可以监控和过滤网络流量，并阻止未经授权的访问。一家网络安全公司的研究显示，超过80%的企业已经部署了防火墙来保护他们的网络和IP地址。 除了防火墙，定期更新操作系统和应用程序也是保护IP地址…...

编程日记 2023/10/9 16:34:25

2023年失业了，想学一门技术可以学什么？

有一个朋友，大厂毕业了，原本月薪估计有5w吧，年终奖也不错，所以早早的就买了房生了娃，一直是人生赢家的姿态。 但是今年突然就被毕业了，比起房货还有个几百万没还来说，他最想不通的是自己的价值…...

编程日记 2023/10/9 16:33:23

MySQL-MVCC（Multi-Version Concurrency Control）

MySQL-MVCC（Multi-Version Concurrency Control） MVCC（多版本并发控制）：为了解决数据库并发读写和数据一致性的问题，是一种思想，可以有多种实现方式。 核心思想：写入时创建行的新版…...

编程日记 2023/10/9 16:32:21

label-studio的使用教程(导入本地路径)

文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...

编程新知 2025/9/4 4:49:03

K8S认证|CKS题库+答案| 11. AppArmor

目录 11. AppArmor 免费获取并激活 CKA_v1.31_模拟系统 题目 开始操作： 1）、切换集群 2）、切换节点 3）、切换到 apparmor 的目录 4）、执行 apparmor 策略模块 5）、修改 pod 文件 6）、…...

编程新知 2025/9/4 19:53:45

【JavaEE】-- HTTP

1. HTTP是什么？ HTTP（全称为"超文本传输协议"）是一种应用非常广泛的应用层协议，HTTP是基于TCP协议的一种应用层协议。 应用层协议：是计算机网络协议栈中最高层的协议，它定义了运行在不同主机上…...

编程新知 2025/9/4 9:06:24

MySQL中【正则表达式】用法

MySQL 中正则表达式通过 REGEXP 或 RLIKE 操作符实现（两者等价），用于在 WHERE 子句中进行复杂的字符串模式匹配。以下是核心用法和示例： 一、基础语法 SELECT column_name FROM table_name WHERE column_name REGEXP pattern; …...

编程新知 2025/7/20 8:11:39

docker 部署发现spring.profiles.active 问题

报错： org.springframework.boot.context.config.InvalidConfigDataPropertyException: Property spring.profiles.active imported from location class path resource [application-test.yml] is invalid in a profile specific resource [origin: class path re…...

编程新知 2025/8/1 7:48:28

Pinocchio 库详解及其在足式机器人上的应用

Pinocchio 库详解及其在足式机器人上的应用 Pinocchio (Pinocchio is not only a nose) 是一个开源的 C 库，专门用于快速计算机器人模型的正向运动学、逆向运动学、雅可比矩阵、动力学和动力学导数。它主要关注效率和准确性，并提供了一个通用的框架&…...

编程新知 2025/8/27 0:04:53

基于Java+VUE+MariaDB实现（Web）仿小米商城

仿小米商城 环境安装 nodejs maven JDK11 运行 mvn clean install -DskipTestscd adminmvn spring-boot:runcd ../webmvn spring-boot:runcd ../xiaomi-store-admin-vuenpm installnpm run servecd ../xiaomi-store-vuenpm installnpm run serve 注意：运行前…...

编程新知 2025/9/2 11:57:55

【堆垛策略】设计方法

堆垛策略的设计是积木堆叠系统的核心，直接影响堆叠的稳定性、效率和容错能力。以下是分层次的堆垛策略设计方法，涵盖基础规则、优化算法和容错机制： 1. 基础堆垛规则 (1) 物理稳定性优先 重心原则： 大尺寸/重量积木在下&#xf…...

编程新知 2025/9/2 16:50:27

微服务通信安全：深入解析mTLS的原理与实践

🔥「炎码工坊」技术弹药已装填！ 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、引言：微服务时代的通信安全挑战 随着云原生和微服务架构的普及，服务间的通信安全成为系统设计的核心议题。传统的单体架构中&…...

编程新知 2025/7/6 17:40:31

HTTPS证书一年多少钱？

HTTPS证书作为保障网站数据传输安全的重要工具，成为众多网站运营者的必备选择。然而，面对市场上种类繁多的HTTPS证书，其一年费用究竟是多少，又受哪些因素影响呢？ 首先，HTTPS证书通常在PinTrust这样的专业平…...

编程新知 2025/9/2 16:57:55