当前位置： 首页 > news >正文

弹性资源组件elastic-resource设计(二)-集群

news 2026/5/11 15:23:25

简介

       弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。

       本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现。

关键词

资源消费者/资源管理器/任务管理器  弹性资源组件关联的3个主要角色

参考资料

相关文章：

弹性资源组件elastic-resource设计(二)-集群

简介 弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。 本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一…...

编程日记 2023/10/9 16:56:50

Flink学习笔记（一）：Flink重要概念和原理

文章目录 1、Flink 介绍2、Flink 概述3、Flink 组件介绍3.1、Deploy 物理部署层3.2、Runtime 核心层3.3、API&Libraries 层3.4、扩展库 4、Flink 四大基石4.1、Checkpoint4.2、State4.3、Time4.4、Window 5、Flink 的应用场景5.1、Event-driven Applications【事件驱动】5.…...

编程日记 2023/10/9 16:54:48

网络中的一些基本概念

数据共享本质是网络数据传输 ，即计算机之间通过网络来传输数据，也称为 网络通信 。 根据网络互连的规模不同，可以划分为局域网和广域网。 局域网 LAN 局域网，即 Local Area Network ，简称 LAN 。 Local 即标识了局…...

编程日记 2023/10/9 16:53:47

mysql中varchar长度为多少

一. varchar存储规则： 4.0版本以下，varchar(20)，指的是20字节，如果存放UTF8汉字时，只能存6个（每个汉字3字节） 5.0版本以上，varchar(20)，指的是20字符，无论存…...

编程日记 2023/10/9 16:52:46

python+selenium实现UI自动化（入门篇）

一、基础准备。 python环境安装，参考：CSDN pycharm安装，参考：CSDN 谷歌浏览器驱动配置，参考：CSDN二、新建pycharm项目 截图中，上面是项目地址（可以提前在指定位置创建文件夹&#xf…...

编程日记 2023/10/9 16:51:45

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict 1、nn.Sequential 、 nn.ModuleList 、 nn.ModuleDict 类都继承自 Module 类。2、nn.Sequential、nn.ModuleList 和 nn.ModuleDict语法3、Sequential 、ModuleDict、 ModuleList 的区别…...

编程日记 2023/10/9 16:50:44

【DevOps】搭建你的第一个 Docker 应用栈

搭建你的第一个 Docker 应用栈 1.Docker 集群部署2.第一个 Hello World2.1 获取应用栈各节点所需镜像2.2 应用栈容器节点互联2.3 应用栈容器节点启动2.4 应用栈容器节点的配置2.4.1 Redis Master 主数据库容器节点的配置2.4.2 Redis Slave 从数据库容器节点的配置2.4.3 Redis 数…...

编程日记 2023/10/9 16:48:42

软件测试职业生涯需要编写的全套文档模板，收藏这一篇就够了 ~

作为一名测试工程师，在整个的职业生涯中，会涉及到各种不同类型的文档编写，大体包括如下： 对应文档模板及文档编写视频如下： 一、测试岗位必备的文档 在一个常规的软件测试流程中，会涉及到测试计划、测试方…...

编程日记 2023/10/9 16:47:40

【Kubernetes】Pod——k8s中最重要的对象之一

Pod是什么？如何使用Pod？资源共享和通信Pod 中的存储Pod 联网：跨 Pod 通信 静态 Pod感谢 💖 Pod是什么？ Pod是k8s中创建和管理的、最小的可部署的计算单元。它包含一个或多个容器。就像豌豆荚里面包含了多个豌豆一样。…...

编程日记 2023/10/9 16:46:39

vue-cli-service: command not found问题解决

解决方案：重新安装一下： npm install -g vue/cli...

编程日记 2023/10/9 16:44:36

每日一练 | 华为认证真题练习Day117

1、缺省情况下，广播网络上OSPF协议Deadtime是？ A. 20s B. 40s C. 10s D. 30s 2、当两台OSPF路由器形成TWO-WAY邻居关系时，LSDB已完成同步，但是SPF算法尚未运行。 A. 对 B. 错 3、以下哪种协议不属于文件传输协？ …...

编程日记 2023/10/9 16:43:36

【JVM】垃圾回收（GC）详解

垃圾回收（GC）详解 一. 死亡对象的判断算法1. 引用计数算法2. 可达性分析算法 二. 垃圾回收算法1. 标记-清除算法2. 复制算法3. 标记-整理算法4. 分代算法 三. STW1. 为什么要 STW2. 什么情况下 STW 四. 垃圾收集器1. CMS收集器（老年代收集器&…...

编程日记 2023/10/9 16:42:35

阿里云服务器公网带宽多少钱1M？

阿里云服务器公网带宽计费模式按固定带宽”计费多少钱1M？地域不同带宽价格不同，北京、杭州、深圳等大陆地域价格是23元/Mbps每月，中国香港1M带宽价格是30元一个月，美国硅谷是30元一个月，日本东京1M带宽是25元一个月&am…...

编程日记 2023/10/9 16:41:34

应用DeepSORT实现目标跟踪

在ByteTrack被提出之前，可以说DeepSORT是最好的目标跟踪算法之一。本文，我们就来应用这个算法实现目标跟踪。 DeepSORT的官方网址是https://github.com/nwojke/deep_sort。但在这里，我们不使用官方的代码，而使用第三方代码&#…...

编程日记 2023/10/9 16:39:32

Beyond Compare 4 30天评估到期 解决方法

Beyond Compare 4 用习惯了，突然提示评估到期了，糟心😄 该方法将通过修改注册表，使BeyondCompare 版本4可以恢复到未评估状态，使其可以持续使用30天评估😄。 修改注册表 第一步：打开注册表。 在…...

编程日记 2023/10/9 16:38:30

化妆品用乙基己基甘油全球市场总体规模2023-2029

乙基己基甘油又名辛氧基甘油，分子式 C11H24O3，分子量 204.306，沸点 325℃，密度 0.962，无色液体，涂抹性能适中的润肤剂、保湿剂及润湿剂。它能够在提高配方滋润效果的同时又具有柔滑的肤感。加入在某些膏霜体…...

编程日记 2023/10/9 16:37:29

springboot家政服务管理平台springboot29

大家好✌！我是CZ淡陌。一名专注以理论为基础实战为主的技术博主，将再这里为大家分享优质的实战项目，本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目，希望你能有所收获，少走一些弯路…...

编程日记 2023/10/9 16:35:27

【网络安全】如何保护IP地址？

使用防火墙是保护IP地址的一个重要手段。防火墙可以监控和过滤网络流量，并阻止未经授权的访问。一家网络安全公司的研究显示，超过80%的企业已经部署了防火墙来保护他们的网络和IP地址。 除了防火墙，定期更新操作系统和应用程序也是保护IP地址…...

编程日记 2023/10/9 16:34:25

2023年失业了，想学一门技术可以学什么？

有一个朋友，大厂毕业了，原本月薪估计有5w吧，年终奖也不错，所以早早的就买了房生了娃，一直是人生赢家的姿态。 但是今年突然就被毕业了，比起房货还有个几百万没还来说，他最想不通的是自己的价值…...

编程日记 2023/10/9 16:33:23

MySQL-MVCC（Multi-Version Concurrency Control）

MySQL-MVCC（Multi-Version Concurrency Control） MVCC（多版本并发控制）：为了解决数据库并发读写和数据一致性的问题，是一种思想，可以有多种实现方式。 核心思想：写入时创建行的新版…...

编程日记 2023/10/9 16:32:21

HC32F4A0 ADC+DMA实战：8通道模拟量采集，从时钟配置到数据搬运的保姆级避坑指南

HC32F4A0 ADCDMA实战：8通道模拟量采集全流程精解与典型问题排查 在工业控制、智能家居和物联网设备开发中，多通道模拟信号采集是嵌入式系统的基础功能。HC32F4A0作为华大半导体推出的高性能MCU，其ADC模块配合DMA控制器可实现高效的数据采集方…...

编程新知 2026/5/11 13:51:14

2026届最火的AI辅助写作工具横评

Ai论文网站排名（开题报告、文献综述、降aigc率、降重综合对比） TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 要使AI生成文本的检测概率得以降低，就得实施从语义、结构以及风格这仨方面展开的…...

编程新知 2026/5/11 13:27:49

Jenkins Job DSL与Pipeline集成：现代DevOps工作流的10个最佳实践

Jenkins Job DSL与Pipeline集成：现代DevOps工作流的10个最佳实践 【免费下载链接】job-dsl-plugin A Groovy DSL for Jenkins Jobs 项目地址: https://gitcode.com/gh_mirrors/jo/job-dsl-plugin Jenkins Job DSL插件是现代DevOps自动化中不可或缺的工具&…...

编程新知 2026/5/11 13:22:50

告别Hello World！手把手教你用OllyDBG修改exe程序字符串（附完整操作截图）

逆向工程第一课：用OllyDBG实战修改程序字符串全流程 刚接触逆向工程的新手往往会被各种复杂工具和概念吓退。今天我们从最基础的字符串修改入手，用OllyDBG带你完成第一个逆向实战。不同于简单的"Hello World"打印，这次我们要直接修…...

编程新知 2026/5/11 12:12:02

收藏！小白也能入局：2026年高薪AI大模型应用开发工程师详解

2026年AI行业重心转向大模型应用开发，AI岗位数量激增，成为企业刚需。AI大模型应用开发工程师通过二次开发，将现成大模型转化为实用产品，如智能客服、知识库问答等。该岗位薪资高、需求旺，技能门槛相对较低，…...

编程新知 2026/5/11 11:30:15

【大模型服务治理实战指南】：奇点智能大会首发的7大避坑法则与3套可落地架构模板

更多请点击： https://intelliparadigm.com 第一章：大模型服务治理：奇点智能大会 在2024年奇点智能大会上，大模型服务治理成为核心议题。随着LLM推理服务规模化部署，企业面临模型版本混乱、流量调度失衡、资源隔离缺失…...

编程新知 2026/5/11 9:23:26

ARM TPIU调试架构原理与时钟同步技术解析

1. ARM TPIU架构与调试跟踪原理在嵌入式系统开发中，实时跟踪调试能力是诊断复杂问题的关键。Trace Port Interface Unit (TPIU)作为ARM CoreSight调试架构的核心组件，承担着将芯片内部多源跟踪数据可靠传输到外部分析设备的重要职责。其设计难点在于如何…...

编程新知 2026/5/11 7:42:03

物联网标准演进与云平台破局：从M2M到IoT的实战路径

1. 从M2M到IoT：一场迟来的标准革命十多年前，当我第一次接触“机器对机器”这个概念时，感觉它就像个被锁在工厂车间里的幽灵——功能强大，但离普通人的生活无比遥远。那时的M2M，谈论的是专用网络、私有协议和封闭的垂直…...

编程新知 2026/5/11 6:19:23

无线充电技术：从手机标配到多场景应用的挑战与机遇

1. 无线充电市场现状：繁荣表象下的应用困境手机无线充电，现在几乎成了旗舰机的标配。从咖啡馆、机场到汽车中控台，充电垫的身影随处可见。作为一名在电源管理和消费电子领域摸爬滚打了十几年的工程师，我亲眼见证了Qi标准从实验室走…...

编程新知 2026/5/11 6:10:27

ASL1架构规范语言：Arm处理器设计的核心工具

1. ASL1架构规范语言概述ASL1（Architecture Specification Language）是Arm公司专为处理器架构设计开发的领域特定语言（DSL），主要用于精确描述Arm架构参考手册中的指令集行为。这种语言在2025年发布的A-profile架构参考…...

编程新知 2026/5/11 5:41:25