当前位置： 首页 > news >正文

弹性资源组件elastic-resource设计(二)-集群

news 2026/3/27 8:37:40

简介

       弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。

       本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现。

关键词

资源消费者/资源管理器/任务管理器  弹性资源组件关联的3个主要角色

参考资料

相关文章：

弹性资源组件elastic-resource设计(二)-集群

简介 弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。 本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一…...

编程日记 2023/10/9 16:56:50

Flink学习笔记（一）：Flink重要概念和原理

文章目录 1、Flink 介绍2、Flink 概述3、Flink 组件介绍3.1、Deploy 物理部署层3.2、Runtime 核心层3.3、API&Libraries 层3.4、扩展库 4、Flink 四大基石4.1、Checkpoint4.2、State4.3、Time4.4、Window 5、Flink 的应用场景5.1、Event-driven Applications【事件驱动】5.…...

编程日记 2023/10/9 16:54:48

网络中的一些基本概念

数据共享本质是网络数据传输 ，即计算机之间通过网络来传输数据，也称为 网络通信 。 根据网络互连的规模不同，可以划分为局域网和广域网。 局域网 LAN 局域网，即 Local Area Network ，简称 LAN 。 Local 即标识了局…...

编程日记 2023/10/9 16:53:47

mysql中varchar长度为多少

一. varchar存储规则： 4.0版本以下，varchar(20)，指的是20字节，如果存放UTF8汉字时，只能存6个（每个汉字3字节） 5.0版本以上，varchar(20)，指的是20字符，无论存…...

编程日记 2023/10/9 16:52:46

python+selenium实现UI自动化（入门篇）

一、基础准备。 python环境安装，参考：CSDN pycharm安装，参考：CSDN 谷歌浏览器驱动配置，参考：CSDN二、新建pycharm项目 截图中，上面是项目地址（可以提前在指定位置创建文件夹&#xf…...

编程日记 2023/10/9 16:51:45

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict 1、nn.Sequential 、 nn.ModuleList 、 nn.ModuleDict 类都继承自 Module 类。2、nn.Sequential、nn.ModuleList 和 nn.ModuleDict语法3、Sequential 、ModuleDict、 ModuleList 的区别…...

编程日记 2023/10/9 16:50:44

【DevOps】搭建你的第一个 Docker 应用栈

搭建你的第一个 Docker 应用栈 1.Docker 集群部署2.第一个 Hello World2.1 获取应用栈各节点所需镜像2.2 应用栈容器节点互联2.3 应用栈容器节点启动2.4 应用栈容器节点的配置2.4.1 Redis Master 主数据库容器节点的配置2.4.2 Redis Slave 从数据库容器节点的配置2.4.3 Redis 数…...

编程日记 2023/10/9 16:48:42

软件测试职业生涯需要编写的全套文档模板，收藏这一篇就够了 ~

作为一名测试工程师，在整个的职业生涯中，会涉及到各种不同类型的文档编写，大体包括如下： 对应文档模板及文档编写视频如下： 一、测试岗位必备的文档 在一个常规的软件测试流程中，会涉及到测试计划、测试方…...

编程日记 2023/10/9 16:47:40

【Kubernetes】Pod——k8s中最重要的对象之一

Pod是什么？如何使用Pod？资源共享和通信Pod 中的存储Pod 联网：跨 Pod 通信 静态 Pod感谢 💖 Pod是什么？ Pod是k8s中创建和管理的、最小的可部署的计算单元。它包含一个或多个容器。就像豌豆荚里面包含了多个豌豆一样。…...

编程日记 2023/10/9 16:46:39

vue-cli-service: command not found问题解决

解决方案：重新安装一下： npm install -g vue/cli...

编程日记 2023/10/9 16:44:36

每日一练 | 华为认证真题练习Day117

1、缺省情况下，广播网络上OSPF协议Deadtime是？ A. 20s B. 40s C. 10s D. 30s 2、当两台OSPF路由器形成TWO-WAY邻居关系时，LSDB已完成同步，但是SPF算法尚未运行。 A. 对 B. 错 3、以下哪种协议不属于文件传输协？ …...

编程日记 2023/10/9 16:43:36

【JVM】垃圾回收（GC）详解

垃圾回收（GC）详解 一. 死亡对象的判断算法1. 引用计数算法2. 可达性分析算法 二. 垃圾回收算法1. 标记-清除算法2. 复制算法3. 标记-整理算法4. 分代算法 三. STW1. 为什么要 STW2. 什么情况下 STW 四. 垃圾收集器1. CMS收集器（老年代收集器&…...

编程日记 2023/10/9 16:42:35

阿里云服务器公网带宽多少钱1M？

阿里云服务器公网带宽计费模式按固定带宽”计费多少钱1M？地域不同带宽价格不同，北京、杭州、深圳等大陆地域价格是23元/Mbps每月，中国香港1M带宽价格是30元一个月，美国硅谷是30元一个月，日本东京1M带宽是25元一个月&am…...

编程日记 2023/10/9 16:41:34

应用DeepSORT实现目标跟踪

在ByteTrack被提出之前，可以说DeepSORT是最好的目标跟踪算法之一。本文，我们就来应用这个算法实现目标跟踪。 DeepSORT的官方网址是https://github.com/nwojke/deep_sort。但在这里，我们不使用官方的代码，而使用第三方代码&#…...

编程日记 2023/10/9 16:39:32

Beyond Compare 4 30天评估到期 解决方法

Beyond Compare 4 用习惯了，突然提示评估到期了，糟心😄 该方法将通过修改注册表，使BeyondCompare 版本4可以恢复到未评估状态，使其可以持续使用30天评估😄。 修改注册表 第一步：打开注册表。 在…...

编程日记 2023/10/9 16:38:30

化妆品用乙基己基甘油全球市场总体规模2023-2029

乙基己基甘油又名辛氧基甘油，分子式 C11H24O3，分子量 204.306，沸点 325℃，密度 0.962，无色液体，涂抹性能适中的润肤剂、保湿剂及润湿剂。它能够在提高配方滋润效果的同时又具有柔滑的肤感。加入在某些膏霜体…...

编程日记 2023/10/9 16:37:29

springboot家政服务管理平台springboot29

大家好✌！我是CZ淡陌。一名专注以理论为基础实战为主的技术博主，将再这里为大家分享优质的实战项目，本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目，希望你能有所收获，少走一些弯路…...

编程日记 2023/10/9 16:35:27

【网络安全】如何保护IP地址？

使用防火墙是保护IP地址的一个重要手段。防火墙可以监控和过滤网络流量，并阻止未经授权的访问。一家网络安全公司的研究显示，超过80%的企业已经部署了防火墙来保护他们的网络和IP地址。 除了防火墙，定期更新操作系统和应用程序也是保护IP地址…...

编程日记 2023/10/9 16:34:25

2023年失业了，想学一门技术可以学什么？

有一个朋友，大厂毕业了，原本月薪估计有5w吧，年终奖也不错，所以早早的就买了房生了娃，一直是人生赢家的姿态。 但是今年突然就被毕业了，比起房货还有个几百万没还来说，他最想不通的是自己的价值…...

编程日记 2023/10/9 16:33:23

MySQL-MVCC（Multi-Version Concurrency Control）

MySQL-MVCC（Multi-Version Concurrency Control） MVCC（多版本并发控制）：为了解决数据库并发读写和数据一致性的问题，是一种思想，可以有多种实现方式。 核心思想：写入时创建行的新版…...

编程日记 2023/10/9 16:32:21

大多数加密API都不够用：量化团队真正需要的数据到底是什么？

如果你做过加密相关开发，无论是： 量化交易数据平台研究分析风控系统 你大概率都会经历一个阶段： 👉 API 接了一堆，但始终“不够用”。 常见的一个误区 很多人在刚开始做数据接入时，会觉得： …...

编程新知 2026/3/27 8:12:28

GME-Qwen2-VL-2B效果实测：抽象文字如何匹配具体图片？

GME-Qwen2-VL-2B效果实测：抽象文字如何匹配具体图片？ 1. 多模态搜索的突破性体验 想象一下，你脑海中浮现出一句富有哲理的句子："人生不是裁决书"，却想找一张能表达这种意境的图片。传统搜索引擎会怎么做&a…...

编程新知 2026/3/27 7:50:16

s2-pro开源大模型实战：低成本GPU部署语音合成服务完整流程

s2-pro开源大模型实战：低成本GPU部署语音合成服务完整流程 1. 前言：语音合成技术的新选择 语音合成技术正在改变我们与数字世界的交互方式。今天要介绍的s2-pro是Fish Audio开源的一款专业级语音合成模型镜像，它让高质量语音合成服务的部署…...

编程新知 2026/3/27 7:09:33

别再死记命令了！用EVE-NG模拟器5分钟搞定思科GRE隧道（附OSPF联动配置）

5分钟玩转思科GRE隧道：EVE-NG实战中的高效学习法 第一次在EVE-NG里搭建GRE隧道时，我盯着满屏的命令行发呆——这些配置到底在做什么？为什么tunnel接口要配源和目的地址？OSPF又是怎么和隧道联动的？直到我用Wireshark抓到…...

编程新知 2026/3/27 6:09:01

B端拓客号码核验行业：痛点剖析、技术突围与发展思考氪迹科技法人 号码筛选系统，阶梯式价格

B端拓客的效率与质量，很大程度上取决于核心决策人触达的精准度，而企业法人、股东、董监高等群体的有效联系方式，正是打通这一环节的关键。作为拓客工作的前置基础性步骤，号码核验的质量直接关联拓客投入的回报效率，更是…...

编程新知 2026/3/27 4:17:48

3大核心能力重新定义macOS炉石传说对战体验：HSTracker全方位辅助系统解析

3大核心能力重新定义macOS炉石传说对战体验：HSTracker全方位辅助系统解析 【免费下载链接】HSTracker A deck tracker and deck manager for Hearthstone on macOS 项目地址: https://gitcode.com/gh_mirrors/hs/HSTracker HSTracker是一款专为macOS平台设计…...

编程新知 2026/3/27 3:35:08

OpenClaw+GLM-4.7-Flash：智能读书笔记生成

OpenClawGLM-4.7-Flash：智能读书笔记生成 1. 为什么需要自动化读书笔记 作为一名技术从业者，我常年保持每周至少阅读两本专业书籍的习惯。但最困扰我的不是阅读本身，而是如何高效整理书中精华内容。过去我尝试过各种笔记工具，从…...

编程新知 2026/3/27 3:23:05

SpeedyStepper Forked：嵌入式步进电机硬实时控制库解析

1. SpeedyStepper Forked：面向嵌入式实时控制的高性能步进电机驱动库深度解析1.1 库定位与工程价值SpeedyStepper Forked 是一个专为嵌入式平台（尤其是基于Arduino生态的MCU）设计的轻量级、高精度步进电机运动控制库。其核心目标并非提供图形…...

编程新知 2026/3/27 2:46:46

好用还专业！盘点2026年备受推崇的一键生成论文工具

一天写完毕业论文在2026年已不再是天方夜谭。最新实测显示，一键生成论文工具正在颠覆传统写作方式，覆盖选题、文献、写作、降重、排版等核心场景，真正实现高效搞定论文，学生党必备神器。 一、全流程王者：一站式搞定论文…...

编程新知 2026/3/27 2:28:43

避坑指南：Dify知识库数据清洗的5个常见错误与正则表达式优化技巧

避坑指南：Dify知识库数据清洗的5个常见错误与正则表达式优化技巧 在企业级知识库构建过程中，数据清洗环节往往成为影响LLM问答质量的关键瓶颈。许多团队投入大量资源进行知识库建设后，仍面临"清洗了数据但召回率低"的困境。本文将揭…...

编程新知 2026/3/27 1:34:21