当前位置： 首页 > news >正文

弹性资源组件elastic-resource设计(四)-任务管理器和资源消费者规范

news 2025/12/24 18:10:27

 简介

       弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。

       本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现。

     本文是弹性资源组件设计最后一章，描述任务管理器的设计和资源消费者规范

技术架构

弹性资源组件的技术架构图，其中作业管理器接入系统提供，需实现与资源管理器和任务管理器的交互， 还有一些技术要求。

总体架构是master-worker，master的高可用是k8s的复制机制提供，选主机制k8s提供，作业管理器和资源管理器参与选主，作业管理器/任务管理器接入资源管理器主节点监听，获取最新资源管理器；作业管理器接入作业管理器主节点监听，获取最新的作业管理器主节点

数据架构，资源是组件的核心数据，分两条线a线 现有资源，b线 待定资源

  1. 4资源请求->5a 分配可用资源-> 6a 请求使用资源-> 7a 提供资源->8a 提交任务
  2. 4资源请求->5b 分配待定资源-> 6b 请求新worker-> 7b 启动任务管理器->8b 注册/报告资源

a线是分配现有资源；b线请求新资源，新资源注册后是现有资源，在a线分配

组件架构

上图弹性资源组件架构，作为SDK，提供RPC，slot池，心跳，高可用等组件支持，这些组件有约束的，有可选用的

任务管理器模块

任务管理器，资源的拥有者，负责报告资源槽，执行任务

《提供资源》是《请求使用资源》的关联用例，任务管理器向资源消费者确认提供资源消费者所需资源

请求使用资源/提供资源

资源管理器分配资源，匹配了合适的空闲资源slot，资源管理器请求资源所在的任务管理器使用资源，任务管理器确认使用后，通知资源使用者

  1. 资源管理器向资源所在的任务管理器TaskExecutor发出使用请求requestSlot
  2. TaskExecutor调用allocateSlotForJob，登记资源使用，登记信息包括jobId, slotId, allocationId, resourceProfile, targetAddress等
  3. TaskExecutor rpc-offerSlots通知ResourceConsumer确认提供该资源
  4. ResourceConsumer转交SlotPool的offerSlots处理，同样，最终处理是DeclarativeSlotPool
  5. DeclarativeSlotPool的matchOfferWithOutstandingRequirements匹配offerSlot与未完成的资源请求，构建AllocatedSlot
  6. 最后AllocatedSlot放入分配池AllocatedSlotPool，返回接收的offerSlots给TaskExecutor处理，没有匹配部分没有使用，无需返回

本节描述基于资源消费者使用弹性资源提供的slot池组件，管理获提供的资源，资源消费者也可自行实现资源管理

提交任务/载入和启动任务

资源消费者获得资源后，提交任务配置，包括任务的类型和参数，任务管理器启动任务

资源消费者规范

本节介绍系统使用弹性资源组件的规范，系统接入弹性资源组件，提供资源消费者实现

  1. 资源消费者需接入弹性资源的高可用机制，任务管理器监听资源消费者主节点变更
  2. 资源消费者需使用弹性资源的rpc组件实现规范的输入和输出接口
  3. 资源消费者与资源管理器和任务管理器间的心跳(HeatBeat)，以及实现心跳超时资源的释放，重连

相关文章：

弹性资源组件elastic-resource设计(四)-任务管理器和资源消费者规范

简介 弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。 本文介绍弹性资源组件的设计，包括架构设计和详…...

编程日记 2023/10/10 5:34:18

【Java】微服务——RabbitMQ消息队列（SpringAMQP实现五种消息模型）

目录 1.初识MQ1.1.同步和异步通讯1.1.1.同步通讯1.1.2.异步通讯 1.2.技术对比： 2.快速入门2.1.RabbitMQ消息模型2.4.1.publisher实现2.4.2.consumer实现 2.5.总结 3.SpringAMQP3.1.Basic Queue 简单队列模型3.1.1.消息发送3.1.2.消息接收3.1.3.测试 3.2.WorkQueue3.…...

编程日记 2023/10/10 5:33:16

react高阶成分（HOC）实践例子

以下是一个使用React函数式组件的高阶组件示例，它用于添加身份验证功能： import React, { useState, useEffect } from react;// 定义一个高阶组件，它接受一个组件作为输入，并返回一个新的包装组件 const withAuthentication (W…...

编程日记 2023/10/10 5:32:15

20231005使用ffmpeg旋转MP4视频

20231005使用ffmpeg旋转MP4视频 2023/10/5 12:21 百度搜搜：ffmpeg 旋转90度 https://zhuanlan.zhihu.com/p/637790915 【FFmpeg实战】FFMPEG常用命令行 https://blog.csdn.net/weixin_37515325/article/details/127817057 FFMPEG常用命令行 5.视频旋转 顺时针旋转…...

编程日记 2023/10/10 5:31:14

MySQL-锁

MySQL的锁机制 1.共享锁(Shared Lock)和排他锁(Exclusive Lock) 事务不能同时具有行共享锁和排他锁，如果事务想要获取排他锁，前提是行没有共享锁和排他锁。而共享锁，只要行没有排他锁都能获取到。 手动开启共享锁/排他锁： -- 对…...

编程日记 2023/10/10 5:30:13

ES6中变量解构赋值

数组的解构赋值 ES6规定以一定模式从数组、对象中提取值，然后给变量赋值叫做解构。 本质上就是一种匹配模式，等号两边模式相同，左边的变量就能对应的值。 假如解构不成功会赋值为undefined。 不需要匹配的位置可以置空 let [ a, b, c] …...

编程日记 2023/10/10 5:29:12

Dijkstra 邻接表表示算法 | 贪心算法实现--附C++/JAVA实现源码

以下是详细步骤。 创建大小为 V 的最小堆，其中 V 是给定图中的顶点数。最小堆的每个节点包含顶点编号和顶点的距离值。 以源顶点为根初始化最小堆（分配给源顶点的距离值为0）。分配给所有其他顶点的距离值为 INF（无限）。 当最小堆不为空时，执行以下操作： 从最小堆中提取…...

编程日记 2023/10/10 5:28:09

从城市吉祥物进化到虚拟人IP需要哪些步骤？

在2023年成都全国科普日主场活动中，推出了全国首个科普数字形象大使“科普熊猫”，科普熊猫作为成都科普吉祥物，是如何进化为虚拟人IP，通过动作捕捉、AR等技术，活灵活现地出现在大众眼前的？ 以广州虚拟动力虚…...

编程日记 2023/10/10 5:27:08

认识SQLServer

深入认识SQL Server：从基础到高级的数据库管理 在当今数字时代，数据是企业成功的关键。为了存储、管理和分析数据，数据库管理系统（DBMS）变得至关重要。其中，Microsoft SQL Server是一款备受欢迎的关系型数据…...

编程日记 2023/10/10 5:25:06

Python开发IDE的比较：PyCharm vs. VS Code vs. Jupyter

Python开发IDE的比较：PyCharm vs. VS Code vs. Jupyter Python开发社区中已经存在了相当长时间的持续争论：PyCharm vs. VS Code vs. Jupyter。 PyCharm：专业人士的选择 让我们从PyCharm开始。它是一个功能强大的集成开发环境（I…...

编程日记 2023/10/10 5:24:04

1206. 设计跳表

不使用任何库函数&#xff0c;设计一个 跳表 。 class Skiplist {int level0;Node headnull;public Skiplist() {}public boolean search(int target) {Node curhead;while(cur!null){while(cur.right!null&&cur.right.val<target){curcur.right;}if(cur.right!nul…...

编程日记 2023/10/10 5:22:02

【API要返回一棵树的结构】数据库表结构是平铺的数据，但是api要实现树状结构展示。api实现一棵树的结构，如何实现呢，递归？如何递归呢

数据库中的数据是平铺的&#xff0c;一行行的&#xff0c;但是api要查询出来的数据要求是一棵树的结构&#xff0c; 怎么把平铺的数据转换成树状结构呢&#xff1f; public List<CarbonRepo> findCarbonRepo(Integer type){// 1. 先查出所有数据。 baseFindList 方法就是…...

编程日记 2023/10/10 5:21:01

视频批量剪辑工具，自定义视频速率，批量剪辑工具助力创意无限”

在视频制作的世界里&#xff0c;每一个细节都至关重要。今天&#xff0c;让我们来探索一项强大且创新的功能——自定义视频速率。利用它&#xff0c;你可以轻松地调整视频播放速度&#xff0c;赋予你的作品独特的个性和风格。 首先第一步&#xff0c;我们要打开好简单批量智剪…...

编程日记 2023/10/10 5:19:59

starrocks启动和停止和重启脚本

StarRocks启动和停止和重启脚本 编辑脚本&#xff1a;vim start_stop_starrocks.sh 备注:IP修改为自己的IP即可 #!/bin/bashcase $1 in "start"){for i in 12.3.7.147 12.3.7.148 12.3.7.149 12.3.7.150doecho " --------启动 $i be -------"ssh $i &qu…...

编程日记 2023/10/10 5:18:58

升级Xcode 15后，出现大量Duplicate symbols问题

https://developer.apple.com/forums/thread/731090 升级到Xcode 15后&#xff0c;原先Xcode14可以编译的项目出现大量Duplicate symbols&#xff0c;且引用报错指向同一个路径&#xff08;一般为Framework&#xff09;下的同一个文件。经过查找相关解决&#xff0c;可通过添加…...

编程日记 2023/10/10 5:17:56

Godot2D角色导航教程（角色随鼠标移动）

文章目录 运行结果2D导航概述开始前的准备2D导航创建导航网格创建角色 其他文章 运行结果 2D导航概述 Godot为2D和3D游戏提供了多个对象、类和服务器&#xff0c;以便于基于网格或基于网格的导航和路径查找。 说到导航&#xff0c;就得说一下导航网格&#xff0c;导航网格定义…...

编程日记 2023/10/10 5:16:55

论文阅读--Cell-free massive MIMO versus small cells

无蜂窝大规模MIMO与小蜂窝网络 论文信息 Ngo H Q, Ashikhmin A, Yang H, et al. Cell-free massive MIMO versus small cells[J]. IEEE Transactions on Wireless Communications, 2017, 16(3): 1834-1850. 无蜂窝大规模MIMO中没有小区或者小区边界的界定&#xff0c;所有接入…...

编程日记 2023/10/10 5:15:54

【深度学习】UniControl 一个统一的扩散模型用于可控的野外视觉生成

论文&#xff1a;https://arxiv.org/abs/2305.11147 代码&#xff1a;https://github.com/salesforce/UniControl#data-preparation docker快速部署&#xff1a;https://qq742971636.blog.csdn.net/article/details/133129146 文章目录 AbstractIntroductionRelated WorksUniCo…...

编程日记 2023/10/10 5:14:52

使用ChatGPT和MindShow一分钟生成PPT模板

对于最近学校组织的实习答辩&#xff0c;由于时间太短了&#xff0c;而且小编也特别的忙&#xff0c;于是就用ChatGPT结合MindShow一分钟快速生成PPT&#xff0c;确实很实用。只要你跟着小编后面&#xff0c;你也可以快速制作出这个PPT&#xff0c;下面小编就来详细介绍一下&am…...

编程日记 2023/10/10 5:13:51

C#对字典容器Dictionary＜TKey, TValue＞内容进行XML序列化或反序列化报错解决方法

一、问题描述 在使用C#对字典容器Dictionary<TKey, TValue>内容进行XML序列化报错【System.Exception:“不支持类型 System.Collections.Generic.Dictionary2[[System.String, mscorlib, Version2.0.0.0, Cultureneutral, PublicKeyTokenb77a5c561934e089],[System.Strin…...

编程日记 2023/10/10 5:12:50

【JavaEE】-- HTTP

1. HTTP是什么&#xff1f; HTTP&#xff08;全称为"超文本传输协议"&#xff09;是一种应用非常广泛的应用层协议&#xff0c;HTTP是基于TCP协议的一种应用层协议。 应用层协议&#xff1a;是计算机网络协议栈中最高层的协议&#xff0c;它定义了运行在不同主机上…...

编程新知 2025/12/21 4:25:33

vue3 字体颜色设置的多种方式

在Vue 3中设置字体颜色可以通过多种方式实现&#xff0c;这取决于你是想在组件内部直接设置&#xff0c;还是在CSS/SCSS/LESS等样式文件中定义。以下是几种常见的方法&#xff1a; 1. 内联样式 你可以直接在模板中使用style绑定来设置字体颜色。 <template><div :s…...

编程新知 2025/10/6 20:49:11

WEB3全栈开发——面试专业技能点P2智能合约开发（Solidity）

一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解&#xff0c;适合用作学习或写简历项目背景说明。 &#x1f9e0; 一、概念简介&#xff1a;Solidity 合约开发 Solidity 是一种专门为 以太坊&#xff08;Ethereum&#xff09;平台编写智能合约的高级编…...

编程新知 2025/12/11 1:32:07

MySQL 8.0 OCP 英文题库解析（十三）

Oracle 为庆祝 MySQL 30 周年&#xff0c;截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。 从今天开始&#xff0c;将英文题库免费公布出来&#xff0c;并进行解析&#xff0c;帮助大家在一个月之内轻松通过OCP认证。 本期公布试题111~120 试题1…...

编程新知 2025/12/18 3:07:12

Redis数据倾斜问题解决

Redis 数据倾斜问题解析与解决方案 什么是 Redis 数据倾斜 Redis 数据倾斜指的是在 Redis 集群中&#xff0c;部分节点存储的数据量或访问量远高于其他节点&#xff0c;导致这些节点负载过高&#xff0c;影响整体性能。 数据倾斜的主要表现 部分节点内存使用率远高于其他节…...

编程新知 2025/12/20 9:37:32

搭建DNS域名解析服务器(正向解析资源文件)

正向解析资源文件 1&#xff09;准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2&#xff09;服务端安装软件&#xff1a;bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...

编程新知 2025/12/21 14:17:46

Go语言多线程问题

打印零与奇偶数&#xff08;leetcode 1116&#xff09; 方法1&#xff1a;使用互斥锁和条件变量 package mainimport ("fmt""sync" )type ZeroEvenOdd struct {n intzeroMutex sync.MutexevenMutex sync.MutexoddMutex sync.Mutexcurrent int…...

编程新知 2025/9/23 8:19:28

Python Einops库：深度学习中的张量操作革命

Einops&#xff08;爱因斯坦操作库&#xff09;就像给张量操作戴上了一副"语义眼镜"——让你用人类能理解的方式告诉计算机如何操作多维数组。这个基于爱因斯坦求和约定的库&#xff0c;用类似自然语言的表达式替代了晦涩的API调用&#xff0c;彻底改变了深度学习工程…...

编程新知 2025/10/16 12:04:52

【Linux系统】Linux环境变量：系统配置的隐形指挥官

。# Linux系列 文章目录 前言一、环境变量的概念二、常见的环境变量三、环境变量特点及其相关指令3.1 环境变量的全局性3.2、环境变量的生命周期 四、环境变量的组织方式五、C语言对环境变量的操作5.1 设置环境变量&#xff1a;setenv5.2 删除环境变量:unsetenv5.3 遍历所有环境…...

编程新知 2025/12/22 11:55:13

9-Oracle 23 ai Vector Search 特性 知识准备

很多小伙伴是不是参加了 免费认证课程&#xff08;限时至2025/5/15&#xff09; Oracle AI Vector Search 1Z0-184-25考试&#xff0c;都顺利拿到certified了没。 各行各业的AI 大模型的到来&#xff0c;传统的数据库中的SQL还能不能打&#xff0c;结构化和非结构的话数据如何和…...

编程新知 2025/12/20 9:19:03