当前位置： 首页 > news >正文

弹性资源组件elastic-resource设计(二)-集群

news 2026/2/9 23:03:24

简介

       弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。

       本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现。

关键词

资源消费者/资源管理器/任务管理器  弹性资源组件关联的3个主要角色

参考资料

相关文章：

弹性资源组件elastic-resource设计(二)-集群

简介 弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。 本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一…...

编程日记 2023/10/9 16:56:50

Flink学习笔记（一）：Flink重要概念和原理

文章目录 1、Flink 介绍2、Flink 概述3、Flink 组件介绍3.1、Deploy 物理部署层3.2、Runtime 核心层3.3、API&Libraries 层3.4、扩展库 4、Flink 四大基石4.1、Checkpoint4.2、State4.3、Time4.4、Window 5、Flink 的应用场景5.1、Event-driven Applications【事件驱动】5.…...

编程日记 2023/10/9 16:54:48

网络中的一些基本概念

数据共享本质是网络数据传输 ，即计算机之间通过网络来传输数据，也称为 网络通信 。 根据网络互连的规模不同，可以划分为局域网和广域网。 局域网 LAN 局域网，即 Local Area Network ，简称 LAN 。 Local 即标识了局…...

编程日记 2023/10/9 16:53:47

mysql中varchar长度为多少

一. varchar存储规则： 4.0版本以下，varchar(20)，指的是20字节，如果存放UTF8汉字时，只能存6个（每个汉字3字节） 5.0版本以上，varchar(20)，指的是20字符，无论存…...

编程日记 2023/10/9 16:52:46

python+selenium实现UI自动化（入门篇）

一、基础准备。 python环境安装，参考：CSDN pycharm安装，参考：CSDN 谷歌浏览器驱动配置，参考：CSDN二、新建pycharm项目 截图中，上面是项目地址（可以提前在指定位置创建文件夹&#xf…...

编程日记 2023/10/9 16:51:45

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict 1、nn.Sequential 、 nn.ModuleList 、 nn.ModuleDict 类都继承自 Module 类。2、nn.Sequential、nn.ModuleList 和 nn.ModuleDict语法3、Sequential 、ModuleDict、 ModuleList 的区别…...

编程日记 2023/10/9 16:50:44

【DevOps】搭建你的第一个 Docker 应用栈

搭建你的第一个 Docker 应用栈 1.Docker 集群部署2.第一个 Hello World2.1 获取应用栈各节点所需镜像2.2 应用栈容器节点互联2.3 应用栈容器节点启动2.4 应用栈容器节点的配置2.4.1 Redis Master 主数据库容器节点的配置2.4.2 Redis Slave 从数据库容器节点的配置2.4.3 Redis 数…...

编程日记 2023/10/9 16:48:42

软件测试职业生涯需要编写的全套文档模板，收藏这一篇就够了 ~

作为一名测试工程师，在整个的职业生涯中，会涉及到各种不同类型的文档编写，大体包括如下： 对应文档模板及文档编写视频如下： 一、测试岗位必备的文档 在一个常规的软件测试流程中，会涉及到测试计划、测试方…...

编程日记 2023/10/9 16:47:40

【Kubernetes】Pod——k8s中最重要的对象之一

Pod是什么？如何使用Pod？资源共享和通信Pod 中的存储Pod 联网：跨 Pod 通信 静态 Pod感谢 💖 Pod是什么？ Pod是k8s中创建和管理的、最小的可部署的计算单元。它包含一个或多个容器。就像豌豆荚里面包含了多个豌豆一样。…...

编程日记 2023/10/9 16:46:39

vue-cli-service: command not found问题解决

解决方案：重新安装一下： npm install -g vue/cli...

编程日记 2023/10/9 16:44:36

每日一练 | 华为认证真题练习Day117

1、缺省情况下，广播网络上OSPF协议Deadtime是？ A. 20s B. 40s C. 10s D. 30s 2、当两台OSPF路由器形成TWO-WAY邻居关系时，LSDB已完成同步，但是SPF算法尚未运行。 A. 对 B. 错 3、以下哪种协议不属于文件传输协？ …...

编程日记 2023/10/9 16:43:36

【JVM】垃圾回收（GC）详解

垃圾回收（GC）详解 一. 死亡对象的判断算法1. 引用计数算法2. 可达性分析算法 二. 垃圾回收算法1. 标记-清除算法2. 复制算法3. 标记-整理算法4. 分代算法 三. STW1. 为什么要 STW2. 什么情况下 STW 四. 垃圾收集器1. CMS收集器（老年代收集器&…...

编程日记 2023/10/9 16:42:35

阿里云服务器公网带宽多少钱1M？

阿里云服务器公网带宽计费模式按固定带宽”计费多少钱1M？地域不同带宽价格不同，北京、杭州、深圳等大陆地域价格是23元/Mbps每月，中国香港1M带宽价格是30元一个月，美国硅谷是30元一个月，日本东京1M带宽是25元一个月&am…...

编程日记 2023/10/9 16:41:34

应用DeepSORT实现目标跟踪

在ByteTrack被提出之前，可以说DeepSORT是最好的目标跟踪算法之一。本文，我们就来应用这个算法实现目标跟踪。 DeepSORT的官方网址是https://github.com/nwojke/deep_sort。但在这里，我们不使用官方的代码，而使用第三方代码&#…...

编程日记 2023/10/9 16:39:32

Beyond Compare 4 30天评估到期 解决方法

Beyond Compare 4 用习惯了，突然提示评估到期了，糟心😄 该方法将通过修改注册表，使BeyondCompare 版本4可以恢复到未评估状态，使其可以持续使用30天评估😄。 修改注册表 第一步：打开注册表。 在…...

编程日记 2023/10/9 16:38:30

化妆品用乙基己基甘油全球市场总体规模2023-2029

乙基己基甘油又名辛氧基甘油，分子式 C11H24O3，分子量 204.306，沸点 325℃，密度 0.962，无色液体，涂抹性能适中的润肤剂、保湿剂及润湿剂。它能够在提高配方滋润效果的同时又具有柔滑的肤感。加入在某些膏霜体…...

编程日记 2023/10/9 16:37:29

springboot家政服务管理平台springboot29

大家好✌！我是CZ淡陌。一名专注以理论为基础实战为主的技术博主，将再这里为大家分享优质的实战项目，本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目，希望你能有所收获，少走一些弯路…...

编程日记 2023/10/9 16:35:27

【网络安全】如何保护IP地址？

使用防火墙是保护IP地址的一个重要手段。防火墙可以监控和过滤网络流量，并阻止未经授权的访问。一家网络安全公司的研究显示，超过80%的企业已经部署了防火墙来保护他们的网络和IP地址。 除了防火墙，定期更新操作系统和应用程序也是保护IP地址…...

编程日记 2023/10/9 16:34:25

2023年失业了，想学一门技术可以学什么？

有一个朋友，大厂毕业了，原本月薪估计有5w吧，年终奖也不错，所以早早的就买了房生了娃，一直是人生赢家的姿态。 但是今年突然就被毕业了，比起房货还有个几百万没还来说，他最想不通的是自己的价值…...

编程日记 2023/10/9 16:33:23

MySQL-MVCC（Multi-Version Concurrency Control）

MySQL-MVCC（Multi-Version Concurrency Control） MVCC（多版本并发控制）：为了解决数据库并发读写和数据一致性的问题，是一种思想，可以有多种实现方式。 核心思想：写入时创建行的新版…...

编程日记 2023/10/9 16:32:21

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板，载入页面后，会显示引导弹窗，适用于引导用户使用页面，点击完成后，会显示下一个引导弹窗，直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…...

编程新知 2026/2/8 4:37:29

内存分配函数malloc kmalloc vmalloc

内存分配函数malloc kmalloc vmalloc malloc实现步骤： 1）请求大小调整：首先，malloc 需要调整用户请求的大小，以适应内部数据结构（例如，可能需要存储额外的元数据）。通常，这包括对齐调整，确保分配的内存地址满足特定硬件要求（如对齐到8字节或16字节边界）。 2）空闲…...

编程新知 2025/11/1 5:21:39

Spark 之 入门讲解详细版（1）

1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处&…...

编程新知 2026/2/5 4:17:31

在鸿蒙HarmonyOS 5中实现抖音风格的点赞功能

下面我将详细介绍如何使用HarmonyOS SDK在HarmonyOS 5中实现类似抖音的点赞功能，包括动画效果、数据同步和交互优化。 1. 基础点赞功能实现 1.1 创建数据模型 // VideoModel.ets export class VideoModel {id: string "";title: string ""…...

编程新知 2025/11/14 9:31:35

安宝特方案丨XRSOP人员作业标准化管理平台：AR智慧点检验收套件

在选煤厂、化工厂、钢铁厂等过程生产型企业，其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进，需提前预防假检、错检、漏检，推动智慧生产运维系统数据的流动和现场赋能应用。同时，…...

编程新知 2026/2/5 17:57:20

使用分级同态加密防御梯度泄漏

抽象 联邦学习 （FL） 支持跨分布式客户端进行协作模型训练，而无需共享原始数据，这使其成为在互联和自动驾驶汽车 （CAV） 等领域保护隐私的机器学习的一种很有前途的方法。然而，最近的研究表明&…...

编程新知 2026/1/24 6:22:43

uniapp微信小程序视频实时流+pc端预览方案

方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度​WebSocket图片帧​定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐​RTMP推流​TRTC/即构SDK推流❌ 付费方案 （部分有免费额度&#x…...

编程新知 2026/1/31 6:12:33

LLM基础1_语言模型如何处理文本

基于GitHub项目：https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken：OpenAI开发的专业"分词器" torch：Facebook开发的强力计算引擎，相当于超级计算器 理解词嵌入：给词语画"…...

编程新知 2025/9/25 5:16:24

【Go语言基础【13】】函数、闭包、方法

文章目录 零、概述一、函数基础1、函数基础概念2、参数传递机制3、返回值特性3.1. 多返回值3.2. 命名返回值3.3. 错误处理 二、函数类型与高阶函数1. 函数类型定义2. 高阶函数（函数作为参数、返回值） 三、匿名函数与闭包1. 匿名函数（Lambda函…...

编程新知 2025/12/8 19:02:25

C++ 设计模式 《小明的奶茶加料风波》

👨‍🎓 模式名称：装饰器模式（Decorator Pattern） 👦 小明最近上线了校园奶茶配送功能，业务火爆，大家都在加料： 有的同学要加波霸 🟤，有的要加椰果…...

编程新知 2026/1/31 8:45:21