当前位置： 首页 > news >正文

弹性资源组件elastic-resource设计(四)-任务管理器和资源消费者规范

news 2026/2/10 17:28:16

 简介

       弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。

       本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现。

     本文是弹性资源组件设计最后一章，描述任务管理器的设计和资源消费者规范

技术架构

弹性资源组件的技术架构图，其中作业管理器接入系统提供，需实现与资源管理器和任务管理器的交互， 还有一些技术要求。

总体架构是master-worker，master的高可用是k8s的复制机制提供，选主机制k8s提供，作业管理器和资源管理器参与选主，作业管理器/任务管理器接入资源管理器主节点监听，获取最新资源管理器；作业管理器接入作业管理器主节点监听，获取最新的作业管理器主节点

数据架构，资源是组件的核心数据，分两条线a线 现有资源，b线 待定资源

  1. 4资源请求->5a 分配可用资源-> 6a 请求使用资源-> 7a 提供资源->8a 提交任务
  2. 4资源请求->5b 分配待定资源-> 6b 请求新worker-> 7b 启动任务管理器->8b 注册/报告资源

a线是分配现有资源；b线请求新资源，新资源注册后是现有资源，在a线分配

组件架构

上图弹性资源组件架构，作为SDK，提供RPC，slot池，心跳，高可用等组件支持，这些组件有约束的，有可选用的

任务管理器模块

任务管理器，资源的拥有者，负责报告资源槽，执行任务

《提供资源》是《请求使用资源》的关联用例，任务管理器向资源消费者确认提供资源消费者所需资源

请求使用资源/提供资源

资源管理器分配资源，匹配了合适的空闲资源slot，资源管理器请求资源所在的任务管理器使用资源，任务管理器确认使用后，通知资源使用者

  1. 资源管理器向资源所在的任务管理器TaskExecutor发出使用请求requestSlot
  2. TaskExecutor调用allocateSlotForJob，登记资源使用，登记信息包括jobId, slotId, allocationId, resourceProfile, targetAddress等
  3. TaskExecutor rpc-offerSlots通知ResourceConsumer确认提供该资源
  4. ResourceConsumer转交SlotPool的offerSlots处理，同样，最终处理是DeclarativeSlotPool
  5. DeclarativeSlotPool的matchOfferWithOutstandingRequirements匹配offerSlot与未完成的资源请求，构建AllocatedSlot
  6. 最后AllocatedSlot放入分配池AllocatedSlotPool，返回接收的offerSlots给TaskExecutor处理，没有匹配部分没有使用，无需返回

本节描述基于资源消费者使用弹性资源提供的slot池组件，管理获提供的资源，资源消费者也可自行实现资源管理

提交任务/载入和启动任务

资源消费者获得资源后，提交任务配置，包括任务的类型和参数，任务管理器启动任务

资源消费者规范

本节介绍系统使用弹性资源组件的规范，系统接入弹性资源组件，提供资源消费者实现

  1. 资源消费者需接入弹性资源的高可用机制，任务管理器监听资源消费者主节点变更
  2. 资源消费者需使用弹性资源的rpc组件实现规范的输入和输出接口
  3. 资源消费者与资源管理器和任务管理器间的心跳(HeatBeat)，以及实现心跳超时资源的释放，重连

相关文章：

弹性资源组件elastic-resource设计(四)-任务管理器和资源消费者规范

简介 弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。 本文介绍弹性资源组件的设计，包括架构设计和详…...

编程日记 2023/10/10 5:34:18

【Java】微服务——RabbitMQ消息队列（SpringAMQP实现五种消息模型）

目录 1.初识MQ1.1.同步和异步通讯1.1.1.同步通讯1.1.2.异步通讯 1.2.技术对比： 2.快速入门2.1.RabbitMQ消息模型2.4.1.publisher实现2.4.2.consumer实现 2.5.总结 3.SpringAMQP3.1.Basic Queue 简单队列模型3.1.1.消息发送3.1.2.消息接收3.1.3.测试 3.2.WorkQueue3.…...

编程日记 2023/10/10 5:33:16

react高阶成分（HOC）实践例子

以下是一个使用React函数式组件的高阶组件示例，它用于添加身份验证功能： import React, { useState, useEffect } from react;// 定义一个高阶组件，它接受一个组件作为输入，并返回一个新的包装组件 const withAuthentication (W…...

编程日记 2023/10/10 5:32:15

20231005使用ffmpeg旋转MP4视频

20231005使用ffmpeg旋转MP4视频 2023/10/5 12:21 百度搜搜：ffmpeg 旋转90度 https://zhuanlan.zhihu.com/p/637790915 【FFmpeg实战】FFMPEG常用命令行 https://blog.csdn.net/weixin_37515325/article/details/127817057 FFMPEG常用命令行 5.视频旋转 顺时针旋转…...

编程日记 2023/10/10 5:31:14

MySQL-锁

MySQL的锁机制 1.共享锁(Shared Lock)和排他锁(Exclusive Lock) 事务不能同时具有行共享锁和排他锁，如果事务想要获取排他锁，前提是行没有共享锁和排他锁。而共享锁，只要行没有排他锁都能获取到。 手动开启共享锁/排他锁： -- 对…...

编程日记 2023/10/10 5:30:13

ES6中变量解构赋值

数组的解构赋值 ES6规定以一定模式从数组、对象中提取值，然后给变量赋值叫做解构。 本质上就是一种匹配模式，等号两边模式相同，左边的变量就能对应的值。 假如解构不成功会赋值为undefined。 不需要匹配的位置可以置空 let [ a, b, c] …...

编程日记 2023/10/10 5:29:12

Dijkstra 邻接表表示算法 | 贪心算法实现--附C++/JAVA实现源码

以下是详细步骤。 创建大小为 V 的最小堆，其中 V 是给定图中的顶点数。最小堆的每个节点包含顶点编号和顶点的距离值。 以源顶点为根初始化最小堆（分配给源顶点的距离值为0）。分配给所有其他顶点的距离值为 INF（无限）。 当最小堆不为空时，执行以下操作： 从最小堆中提取…...

编程日记 2023/10/10 5:28:09

从城市吉祥物进化到虚拟人IP需要哪些步骤？

在2023年成都全国科普日主场活动中，推出了全国首个科普数字形象大使“科普熊猫”，科普熊猫作为成都科普吉祥物，是如何进化为虚拟人IP，通过动作捕捉、AR等技术，活灵活现地出现在大众眼前的？ 以广州虚拟动力虚…...

编程日记 2023/10/10 5:27:08

认识SQLServer

深入认识SQL Server：从基础到高级的数据库管理 在当今数字时代，数据是企业成功的关键。为了存储、管理和分析数据，数据库管理系统（DBMS）变得至关重要。其中，Microsoft SQL Server是一款备受欢迎的关系型数据…...

编程日记 2023/10/10 5:25:06

Python开发IDE的比较：PyCharm vs. VS Code vs. Jupyter

Python开发IDE的比较：PyCharm vs. VS Code vs. Jupyter Python开发社区中已经存在了相当长时间的持续争论：PyCharm vs. VS Code vs. Jupyter。 PyCharm：专业人士的选择 让我们从PyCharm开始。它是一个功能强大的集成开发环境（I…...

编程日记 2023/10/10 5:24:04

1206. 设计跳表

不使用任何库函数&#xff0c;设计一个 跳表 。 class Skiplist {int level0;Node headnull;public Skiplist() {}public boolean search(int target) {Node curhead;while(cur!null){while(cur.right!null&&cur.right.val<target){curcur.right;}if(cur.right!nul…...

编程日记 2023/10/10 5:22:02

【API要返回一棵树的结构】数据库表结构是平铺的数据，但是api要实现树状结构展示。api实现一棵树的结构，如何实现呢，递归？如何递归呢

数据库中的数据是平铺的&#xff0c;一行行的&#xff0c;但是api要查询出来的数据要求是一棵树的结构&#xff0c; 怎么把平铺的数据转换成树状结构呢&#xff1f; public List<CarbonRepo> findCarbonRepo(Integer type){// 1. 先查出所有数据。 baseFindList 方法就是…...

编程日记 2023/10/10 5:21:01

视频批量剪辑工具，自定义视频速率，批量剪辑工具助力创意无限”

在视频制作的世界里&#xff0c;每一个细节都至关重要。今天&#xff0c;让我们来探索一项强大且创新的功能——自定义视频速率。利用它&#xff0c;你可以轻松地调整视频播放速度&#xff0c;赋予你的作品独特的个性和风格。 首先第一步&#xff0c;我们要打开好简单批量智剪…...

编程日记 2023/10/10 5:19:59

starrocks启动和停止和重启脚本

StarRocks启动和停止和重启脚本 编辑脚本&#xff1a;vim start_stop_starrocks.sh 备注:IP修改为自己的IP即可 #!/bin/bashcase $1 in "start"){for i in 12.3.7.147 12.3.7.148 12.3.7.149 12.3.7.150doecho " --------启动 $i be -------"ssh $i &qu…...

编程日记 2023/10/10 5:18:58

升级Xcode 15后，出现大量Duplicate symbols问题

https://developer.apple.com/forums/thread/731090 升级到Xcode 15后&#xff0c;原先Xcode14可以编译的项目出现大量Duplicate symbols&#xff0c;且引用报错指向同一个路径&#xff08;一般为Framework&#xff09;下的同一个文件。经过查找相关解决&#xff0c;可通过添加…...

编程日记 2023/10/10 5:17:56

Godot2D角色导航教程（角色随鼠标移动）

文章目录 运行结果2D导航概述开始前的准备2D导航创建导航网格创建角色 其他文章 运行结果 2D导航概述 Godot为2D和3D游戏提供了多个对象、类和服务器&#xff0c;以便于基于网格或基于网格的导航和路径查找。 说到导航&#xff0c;就得说一下导航网格&#xff0c;导航网格定义…...

编程日记 2023/10/10 5:16:55

论文阅读--Cell-free massive MIMO versus small cells

无蜂窝大规模MIMO与小蜂窝网络 论文信息 Ngo H Q, Ashikhmin A, Yang H, et al. Cell-free massive MIMO versus small cells[J]. IEEE Transactions on Wireless Communications, 2017, 16(3): 1834-1850. 无蜂窝大规模MIMO中没有小区或者小区边界的界定&#xff0c;所有接入…...

编程日记 2023/10/10 5:15:54

【深度学习】UniControl 一个统一的扩散模型用于可控的野外视觉生成

论文&#xff1a;https://arxiv.org/abs/2305.11147 代码&#xff1a;https://github.com/salesforce/UniControl#data-preparation docker快速部署&#xff1a;https://qq742971636.blog.csdn.net/article/details/133129146 文章目录 AbstractIntroductionRelated WorksUniCo…...

编程日记 2023/10/10 5:14:52

使用ChatGPT和MindShow一分钟生成PPT模板

对于最近学校组织的实习答辩&#xff0c;由于时间太短了&#xff0c;而且小编也特别的忙&#xff0c;于是就用ChatGPT结合MindShow一分钟快速生成PPT&#xff0c;确实很实用。只要你跟着小编后面&#xff0c;你也可以快速制作出这个PPT&#xff0c;下面小编就来详细介绍一下&am…...

编程日记 2023/10/10 5:13:51

C#对字典容器Dictionary＜TKey, TValue＞内容进行XML序列化或反序列化报错解决方法

一、问题描述 在使用C#对字典容器Dictionary<TKey, TValue>内容进行XML序列化报错【System.Exception:“不支持类型 System.Collections.Generic.Dictionary2[[System.String, mscorlib, Version2.0.0.0, Cultureneutral, PublicKeyTokenb77a5c561934e089],[System.Strin…...

编程日记 2023/10/10 5:12:50

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…...

编程新知 2026/2/7 23:18:39

Chapter03-Authentication vulnerabilities

文章目录 1. 身份验证简介1.1 What is authentication1.2 difference between authentication and authorization1.3 身份验证机制失效的原因1.4 身份验证机制失效的影响 2. 基于登录功能的漏洞2.1 密码爆破2.2 用户名枚举2.3 有缺陷的暴力破解防护2.3.1 如果用户登录尝试失败次…...

编程新知 2026/2/10 3:29:01

Ubuntu系统下交叉编译openssl

一、参考资料 OpenSSL&&libcurl库的交叉编译 - hesetone - 博客园 二、准备工作 1. 编译环境 宿主机&#xff1a;Ubuntu 20.04.6 LTSHost&#xff1a;ARM32位交叉编译器&#xff1a;arm-linux-gnueabihf-gcc-11.1.0 2. 设置交叉编译工具链 在交叉编译之前&#x…...

编程新知 2025/11/10 15:33:04

Frozen-Flask ：将 Flask 应用“冻结”为静态文件

Frozen-Flask 是一个用于将 Flask 应用“冻结”为静态文件的 Python 扩展。它的核心用途是&#xff1a;将一个 Flask Web 应用生成成纯静态 HTML 文件&#xff0c;从而可以部署到静态网站托管服务上&#xff0c;如 GitHub Pages、Netlify 或任何支持静态文件的网站服务器。 &am…...

编程新知 2025/12/5 20:57:13

Unsafe Fileupload篇补充-木马的详细教程与木马分享（中国蚁剑方式）

在之前的皮卡丘靶场第九期Unsafe Fileupload篇中我们学习了木马的原理并且学了一个简单的木马文件 本期内容是为了更好的为大家解释木马&#xff08;服务器方面的&#xff09;的原理&#xff0c;连接&#xff0c;以及各种木马及连接工具的分享 文件木马&#xff1a;https://w…...

编程新知 2026/1/25 10:13:29

LINUX 69 FTP 客服管理系统 man 5 /etc/vsftpd/vsftpd.conf

FTP 客服管理系统 实现kefu123登录&#xff0c;不允许匿名访问&#xff0c;kefu只能访问/data/kefu目录&#xff0c;不能查看其他目录 创建账号密码 useradd kefu echo 123|passwd -stdin kefu [rootcode caozx26420]# echo 123|passwd --stdin kefu 更改用户 kefu 的密码…...

编程新知 2026/2/9 20:16:17

面向无人机海岸带生态系统监测的语义分割基准数据集

描述&#xff1a;海岸带生态系统的监测是维护生态平衡和可持续发展的重要任务。语义分割技术在遥感影像中的应用为海岸带生态系统的精准监测提供了有效手段。然而&#xff0c;目前该领域仍面临一个挑战&#xff0c;即缺乏公开的专门面向海岸带生态系统的语义分割基准数据集。受…...

编程新知 2026/2/10 13:33:36

C++：多态机制详解

目录 一. 多态的概念 1.静态多态&#xff08;编译时多态&#xff09; 二.动态多态的定义及实现 1.多态的构成条件 2.虚函数 3.虚函数的重写/覆盖 4.虚函数重写的一些其他问题 1&#xff09;.协变 2&#xff09;.析构函数的重写 5.override 和 final关键字 1&#…...

编程新知 2026/1/25 13:32:52

招商蛇口 | 执笔CID，启幕低密生活新境

作为中国城市生长的力量&#xff0c;招商蛇口以“美好生活承载者”为使命&#xff0c;深耕全球111座城市&#xff0c;以央企担当匠造时代理想人居。从深圳湾的开拓基因到西安高新CID的战略落子&#xff0c;招商蛇口始终与城市发展同频共振&#xff0c;以建筑诠释对土地与生活的…...

编程新知 2026/1/26 8:13:33

Selenium常用函数介绍

目录 一&#xff0c;元素定位 1.1 cssSeector 1.2 xpath 二&#xff0c;操作测试对象 三&#xff0c;窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四&#xff0c;弹窗 五&#xff0c;等待 六&#xff0c;导航 七&#xff0c;文件上传 …...

编程新知 2026/1/29 3:55:23