flink集群与资源@k8s源码分析-总述
1 简介
集群和资源模块提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块，深入了解其设计原理，为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器，slot pool，但不深入调度器。
本文分析基于flink 1.17版本，不同版本代码差异比较大
2 关键词
作业管理器
资源管理器
任务管理器
3 参考资料
flink官方网站 https://flink.apache.org/
4 flink整体架构
上图展示flink整体架构，本文分析集群和资源
5 flink运行架构
运行架构，按调用顺序展示flink集群启动，作业提交处理组件互动
总体上，集群是mater-worker架构，上图是flink的抽象架构，一个优秀架构可以抽象，第六章介绍架构”具体” k8s实现
6 flink@k8s运行架构
相关文章：
flink集群与资源@k8s源码分析-总述
1 简介 集群和资源模块提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块，深入了解其设计原理，为开发自有的集群和资源组件做技术准备, 同时涉…...
LeetCode 0213. 打家劫舍 II：动动态规划
【LetMeFly】213.打家劫舍 II：动动态规划 力扣题目链接：https://leetcode.cn/problems/house-robber-ii/ 你是一个专业的小偷，计划偷窃沿街的房屋，每间房内都藏有一定的现金。这个地方所有的房屋都 围成一圈 ，这意味…...
VMware17 不可恢复错误mks解决方案
用的虚拟机VMware17版本，然后运行带HDR的unity程序，结果报错 网上找了很多解决方案，都没用。毕竟需要在不放弃虚拟机3D加速的情况下运行。 最终皇天不负有心人，亲测有效的方法： 在虚拟机名字.vmx文件里添加以下2行&a…...
【深度学习】 Python 和 NumPy 系列教程（廿五）：Matplotlib详解：3、多子图和布局：subplot()函数
目录 一、前言 二、实验环境 三、Matplotlib详解 1、2d绘图类型 2、3d绘图类型 3、多子图和布局 1. subplot()函数 简单示例 一、前言 Python是一种高级编程语言，由Guido van Rossum于1991年创建。它以简洁、易读的语法而闻名，并且具有强大的功能…...
计算机网络知识补充(1)
计算机网络:是一个将分散的，具有独立功能的计算机系统，通过通信设备和线路进行连接起来，由功能完善的软件实现资源共享和信息共享的系统，计算机网络是互连的，自治的计算机集合 互连:通过通信链路来进行互联互通 自治:没…...
C# Onnx Yolov8 Pose 姿态识别
效果 项目 代码 using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using OpenCvSharp; using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System…...
7.algorithm2e中while怎么使用
algorithm2e中while怎么使用 在 algorithm2e 宏包中，要使用 while 循环，您可以使用 \While 和 \EndWhile 命令来定义循环的开始和结束。以下是如何使用 while 循环的示例： \documentclass{article} \usepackage[linesnumbered,boxed]{algorit…...
Flask狼书笔记 | 08_个人博客（下）
文章目录 8 个人博客8.4 初始化博客8.5 使用Flask-Login管理用户认证8.6 CSRFProtect实现CSRF保护8.7 编写博客后台小结 8 个人博客 8.4 初始化博客 1、安全存储密码 密码不要以明文的形式直接存储在数据库中，以防被攻击者盗取、泄露。一般的做法是，不…...
机器学习第十课--提升树
一.Bagging与Boosting的区别 在上一章里我们学习了一个集成模型叫作随机森林，而且也了解到随机森林属于Bagging的成员。本节我们重点来学习一下另外一种集成模型叫作Boosting。首先回顾一下什么叫Bagging? 比如在随机森林里，针对于样本数据，…...
react scss.modules中使用iconfont
全局引入详见全局引入scss 全局的scss文件中引入iconfont.css use "../font/iconfont.css"; 然后就可以正常使用啦...
使用Jmeter+ant进行接口自动化测试(数据驱动)
最近在做接口测试，因为公司有使用jmeter做接口测试的相关培训资料，所以还是先选择使用jmeter来批量管理接口，进行自动化测试。话不多说，进入正题： 1.使用csv文件保存接口测试用例，方便后期对接口进行维护&…...
可视化图表组件之股票数据分析应用
股市是市场经济的必然产物，在一个国家的金融领域之中有着举足轻重的地位。在过去，人们对于市场走势的把握主要依赖于经验和直觉，往往容易受到主观因素的影响，导致决策上出现偏差。如今，通过数据可视化呈现，…...
STM32 ~ GPIO不同模式之间的区别与实现原理
GPIO全称General Purpose Input Output ，即通用输入/输出。其实GPIO的本质就是芯片的一个引脚，通常在ARM中所有的I/O都是通用的。不过，由于每个开发板上都会设计不同的外围电路，这就造成了GPIO的功能可能有所不同。大部分GPIO都是…...
dvwa靶场通关（十二）
第十二关：Stored Cross Site Scripting (XSS)（存储型xss） low 这一关没有任何防护，直接输入弹窗代码 弹窗成功 medium 先试试上面的代码看看，有没有什么防护 发现我们的script标签不见了，应该是被过滤掉…...
【shell学习】企业运维工作中常用的shell脚本
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…...
对权限的理解和使用
目录 一：用户权限： ★su命令 ★sudo命令 二：文件权限 ★文件的类型权限 ★文件夹的权限的使用 ▲文件夹的可读权限： ▲文件夹的可写权限： ▲文件夹的可执行权限： ★权限的修改操作 ▲chmod命令 ★对于文件的…...
MySQL 5.7 通过数据库idb文件快速导入至另一台数据库
前言 数据库有一张表里有1000万条数据，通过sql导入会非常缓慢，如果数据库版本相同，迁移表可以通过复制表idb文件实现快速迁移。 一、系统环境 原服务器系统：centos7.4 原服务器数据库版本：MySQL5.7.21 新服务器系统…...
第一章 计算机网络基础
目录 1.1 网络体系结构 1.1.1 OSI/RM七层参考模型 1.1.2 OSI/RM和TCP/IP模型的比较 1.1.3 五层协议的体系结构 1.1.4 计算机1向计算机2发送数据过程 1.1.5 TCP/IP体系结构的具体实现 1.2 网络设备概述 1.2.1 互联设备与OSI的对应关系 1.2.2 集线器(HUB) 1.2.3 网桥(B…...
本地电脑搭建SFTP服务器，并实现公网访问
本地电脑搭建SFTP服务器，并实现公网访问 文章目录 本地电脑搭建SFTP服务器，并实现公网访问1. 搭建SFTP服务器1.1 下载 freesshd 服务器软件1.3 启动SFTP服务1.4 添加用户1.5 保存所有配置 2. 安装SFTP客户端FileZilla测试2.1 配置一个本地SFTP站点2.2 内…...
易基因直播预告｜细菌微生物基因表达调控表观研究易基因科技
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。 DNA甲基化是在半个多世纪前在细菌中发现的。DNA碱基可以作为一个表观遗传调节因子——也就是说，它可以赋予相同的基因序列不同的和可逆的调控状态。在真核生物中，…...
douyin-downloader：让每个人都能轻松获取无水印视频的技术利器
douyin-downloader：让每个人都能轻松获取无水印视频的技术利器 【免费下载链接】douyin-downloader 项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader 一、问题破局：揭开抖音内容获取的神秘面纱 1.1 内容获取的三大拦路虎 …...
R语言新手必看：clusterProfiler功能富集分析从安装到实战（附常见报错解决方案）
R语言实战：clusterProfiler功能富集分析全流程指南 第一次接触功能富集分析时，我被那些密密麻麻的基因列表和复杂的生物学术语搞得晕头转向。直到发现了clusterProfiler这个神器，它就像生物信息学分析中的瑞士军刀，把复杂的富集过…...
STM32串口通信原理与实现详解
串口通信技术深度解析：从原理到STM32实现1. 串口通信基础概念1.1 数据传送方向分类串行通信根据数据传输方向可分为三种基本模式：单工模式：数据仅支持单向传输，如传统的广播系统。发送端和接收端角色固定，硬件上只需单…...
【AI+教育】告别“硬啃”长文，它把文档直接变成你的专属视频课
在这个信息大爆炸的时代，我们最不缺的就是资料：网盘里屯满的行业报告、收藏了却从未打开的学术论文、买来盖泡面的大部头教材……知识就在那里，但“学进去”实在太难了。 秘塔推出的“今天学点啥”，就是为了解决这个痛点而生的。它的核心逻辑非常简单粗暴：你把看不进去的文…...
Protege新手避坑指南：搞懂‘类’、‘属性’和‘推理’到底怎么用（附常见错误排查）
Protege新手避坑指南：搞懂‘类’、‘属性’和‘推理’到底怎么用（附常见错误排查） 第一次打开Protege时，满屏的术语和复杂的界面可能会让你感到不知所措。作为一款强大的本体编辑工具，Protege确实有着陡峭的学习曲线。…...
如何用Python爬取全国空气质量监测站数据（附完整代码与避坑指南）
Python实战：构建高稳定性的空气质量监测数据爬虫系统 清晨打开天气应用时，那些跳动的PM2.5数值背后，是遍布全国的空气质量监测站在持续工作。作为数据分析师或环境研究者，直接获取这些原始监测数据往往能发现更有价值的规律。但当…...
时空预测入门：从ConvLSTM的局限到PredRNN的突破，一篇讲清记忆单元演化史
时空预测技术演进：从ConvLSTM到PredRNN的记忆单元革命 时空序列预测一直是计算机视觉和机器学习领域最具挑战性的任务之一。想象一下，当你观看一段足球比赛视频时，大脑不仅能记住球员的位置变化（时间维度），…...
【仿真】Carla跨平台部署指南：从零到一，附ROS2与Autoware.auto连接实战
1. Carla仿真平台概述 Carla是一款开源的自动驾驶仿真平台，基于虚幻引擎构建，能够提供高度逼真的城市环境和交通场景。我第一次接触Carla是在2018年，当时它还处于早期开发阶段，但已经展现出惊人的潜力。经过多年发展，现…...
【YOLOv11工业级实战】35. DeepStream集成实战——构建高并发视频分析管道
摘要：在智慧交通、智慧工地等工业场景中，多路高清视频的实时分析面临高并发、低延迟、低资源占用的核心诉求。传统PyTorch逐帧推理方案因CPU解码瓶颈、内存拷贝频繁等问题，无法满足500路以上视频流的并发处理需求。本文以NVIDIA DeepStream框架为核心，结合YOLOv11目标检测模…...
Workbench与Ls-Dyna中位移与远程位移设置的关键字映射解析
1. 固定支撑的关键字映射与实战配置 在有限元分析中，固定支撑是最基础的边界条件之一。Workbench和Ls-Dyna对固定支撑的实现逻辑完全不同，但最终达到的约束效果是等效的。先看Workbench端的操作：在Mechanical界面右键选择Ls-Dyna环境…...