【Yarn】通过JMX采集yarn相关指标的Flink任务核心逻辑
通过JMX采集yarn相关指标的Flink任务核心逻辑
文章目录
- 通过JMX采集yarn相关指标的Flink任务核心逻辑
- 通过jmx接口查询Yarn队列指标
- 请求JMX
- 配置项
- 核心处理流程
- 输出到kafka格式
- 通过jmx接口查询ResourceManager核心指标
- 请求JMX
- 读取配置yaml配置文件
- 核心处理逻辑
- 输出Kafka格式
- 彩蛋 Flink 1.19中模拟调度每分钟调度
查询Active RM节点，然后将数据写入Kafka
通过jmx接口查询Yarn队列指标
请求JMX
队列相关指标：http://XXXXX:XXXX/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,*
配置项
# 指标值采用瞬间值的指标名称字符串，以英文逗号分隔
jmx.filter.queue.metric.momentary=AllocatedVCores,MaxShareVCores,MinShareVCores,AllocatedMB,MaxShareMB,MinShareMB,PendingMB,PendingVCores,MaxApps,AppsRunning,AppsPending,AllocatedContainers,PendingContainers
# 指标值采用两次差值的指标名称字符串，以英文逗号分隔
jmx.filter.queue.metric.difference=AppsSubmitted,AppsCompleted,AppsKilled,AppsFailed
核心处理流程
相关文章：
【Yarn】通过JMX采集yarn相关指标的Flink任务核心逻辑
通过JMX采集yarn相关指标的Flink任务核心逻辑 文章目录 通过JMX采集yarn相关指标的Flink任务核心逻辑通过jmx接口查询Yarn队列指标请求JMX配置项核心处理流程输出到kafka格式通过jmx接口查询ResourceManager核心指标请求JMX读取配置yaml配置文件核心处理逻辑输出Kafka格式彩蛋 …...
鸿蒙HarmonyOS开发：基于Swiper组件和自定义指示器实现多图片进度条轮播功能
文章目录 一、概述1、场景介绍2、技术选型 二、实现方案1、图片区域实现2、底部导航点设计3、手动切换 三、所有代码1、设置沉浸式2、外层Tabs效果3、ImageSwiper组件 四、效果展示 一、概述 在短视频平台上，经常可以见到多图片合集。它的特点是：由多张…...
Excel 身份证号计算年龄
1. 设置身份证号列格式 复制身份证列值到记事本或其他地方重新设置身份证号列单元格格式为“文本”将复制出去的身份证号重新复制粘贴回来 2. 年龄列单元格中添加公式 DATEDIF(DATE(LEFT(MID(A2, 7, 8), 4), MID(MID(A2, 7, 8), 5, 2), RIGHT(MID(A2, 7, 8), 2)), TODAY(), …...
【2024年-6月-14日-开源社区openEuler实践记录】探索 test - tools：高效测试的开源宝库
开篇引言 大家好，我是 fzr123，在软件开发领域深耕多年，一直致力于探索各种提升效率的工具与技术。今天，我将为大家深入介绍一款在测试领域极具价值的开源项目——test - tools，它为开发者们提供了一系列强大的测试功能…...
2022浙江大学信号与系统笔记
原视频地址：2022浙江大学信号与系统（含配套课件和代码） - 胡浩基老师-哔哩哔哩 ⭐⭐⭐ 我的笔记：飞书链接 - 信号与系统 基于视频，记得笔记，加了点自己的补充（有的是问 ChatGPT 的）…...
DeepSeek-VL2
《DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding》是 DeepSeek-AI 团队发布的关于视觉语言模型 DeepSeek-VL2 的论文，以下是对该论文的详细介绍： 研究背景与动机 多模态理解的重要性：在当…...
前端⾯试⼋股⽂
1.http 和 https 的基本概念 - http: 是⼀个客⼾端和服务器端请求和应答的标准（TCP），⽤于从 WWW 服务器传输超⽂本到本地浏 览器的超⽂本传输协议。 - https:是以安全为⽬标的 HTTP 通道，即 HTTP 下 加⼊ SSL 层进⾏加密。其作⽤…...
【Rust自学】8.6. HashMap Pt.2：更新HashMap
8.6.0. 本章内容 第八章主要讲的是Rust中常见的集合。Rust中提供了很多集合类型的数据结构，这些集合可以包含很多值。但是第八章所讲的集合与数组和元组有所不同。 第八章中的集合是存储在堆内存上而非栈内存上的，这也意味着这些集合的数据大小无需在编…...
Python异常处理详解：概念、语法与实践
1. 异常的概念 在Python中，异常（Exception）是程序运行时出现的错误或不正常情况。异常通常表示程序在运行时遇到了无法继续执行的条件。Python通过 try/except 语句来捕获和处理异常。 异常可以分为两类： 内建异常：…...
Kotlin在医疗大健康域的应用实例探究与编程剖析（上）
一、引言 1.1 研究背景与意义 在当今数字化时代，医疗行业正经历着深刻的变革。随着信息技术的飞速发展，尤其是人工智能、大数据、物联网等新兴技术的广泛应用，医疗行业数字化转型已成为必然趋势。这种转型旨在提升医疗服务的效率和质量，优化医疗资源配置，为患者提供更加…...
QT----------QT Data Visualzation
实现思路： 配置项目：在 .pro 文件中添加 QT datavisualization 以引入 QT Data Visualization 模块。创建主窗口：使用 QMainWindow 作为主窗口，添加 Q3DScatter、Q3DBars 和 Q3DSurface 等三维视图组件。初始化和创建三维图表&a…...
什么是Sight Words（信号词）
🧡什么是Sight Words（信号词） 简单来说，Sight Words就是我们在日常英语中常用的一些基本词汇。可以把它想象成是学练英语的“基础词汇”，这些词在各种考试中经常出现，也是在生活中必不可少的。 …...
SpringBoot日志快速集成详解-生产实战
SpringBoot日志快速集成详解 1. 添加依赖2. 创建 logback-spring.xml 配置文件示例 logback-spring.xml 配置： 3. 启用 Spring Boot 自动配置4. 配置 Spring Boot 启动日志级别5. 运行与验证 博文专注于最快速的实战，没有那么多逼逼叨叨的理论࿰…...
路由技术在网络中的作用及特点
作用：路径选择：在复杂的网络拓扑结构中，路由技术能够根据网络的当前状态和目标地址，为数据报文选择一条最佳的传输路径，确保数据能够快速、准确地到达目的地。例如，在互联网中，当用户访问一个网…...
【Python系列】Flask 与 FastAPI：两个 Python Web 框架的对比分析
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...
云手机：虚拟技术的革命性应用与实体手机的优劣对比
在近年来，随着互联网的火速发展，云手机作为一种新兴的技术产品，在游戏行业特别是手游市场中掀起了一股热潮。云手机，顾名思义，是架设在ARM虚拟服务器上的手机，其独特的虚拟技术为用户带来了前所未有的使用体…...
3. C语言 数据类型
本章目录： 前言：C语言中的数据类型分类1. 基本数据类型1.1 整数类型1.2 浮点类型1.3 字符型常量1.4 字符串常量 2. 枚举类型3. void 类型void类型的使用示例： 4. 类型转换4.1 隐式类型转换4.2 显式类型转换类型转换的注意事项 5. 小结 前言&a…...
npm install 安装选项 -d -s -g
在使用 npm install 时，-d、-g 和 -s 是不同的选项，它们分别代表不同的安装模式或行为。以下是它们的详细解释： 1. -d：--save-dev 含义：将包安装为开发依赖（devDependencies）。使用场景&#…...
pdf预览兼容问题- chrome浏览器105及一下预览不了
使用的"tato30/vue-pdf": "^1.11.2"预览插件，发现chrome浏览器105及一下预览不了 pdfPreview预览组件： <template><div id"vue_pdf_view"><div class"tool_tip"><template v-if"pa…...
【可实战】需求分析-测试计划↓-测试设计-测试执行-测试总结↓（包含测试计划、测试总结模板，以公司要求为准）
一、完成软件测试工作的必要步骤 需求分析-测试计划-测试设计-测试执行-测试总结 二、测试计划 （一）测试计划模版 模板在线查看： https://docs.qq.com/doc/DV2hTamxJWnNDaUFF 模板（百度网盘）： 链接&…...
什么是库存周转？如何用进销存系统提高库存周转率？
你可能听说过这样一句话： “利润不是赚出来的，是管出来的。” 尤其是在制造业、批发零售、电商这类“货堆成山”的行业，很多企业看着销售不错，账上却没钱、利润也不见了，一翻库存才发现： 一堆卖不动的旧货…...
AirSim/Cosys-AirSim 游戏开发（四）外部固定位置监控相机
这个博客介绍了如何通过 settings.json 文件添加一个无人机外的 固定位置监控相机，因为在使用过程中发现 Airsim 对外部监控相机的描述模糊，而 Cosys-Airsim 在官方文档中没有提供外部监控相机设置，最后在源码示例中找到了，所以感…...
Selenium常用函数介绍
目录 一，元素定位 1.1 cssSeector 1.2 xpath 二，操作测试对象 三，窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四，弹窗 五，等待 六，导航 七，文件上传 …...
多模态图像修复系统：基于深度学习的图片修复实现
多模态图像修复系统：基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型（Stable Diffusion Inpainting）实现图像修复功能，结合文本描述和图片输入，对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...
代码规范和架构【立芯理论一】（2025.06.08）
1、代码规范的目标 代码简洁精炼、美观，可持续性好高效率高复用，可移植性好高内聚，低耦合没有冗余规范性，代码有规可循，可以看出自己当时的思考过程特殊排版，特殊语法，特殊指令，必须…...
关于easyexcel动态下拉选问题处理
前些日子突然碰到一个问题，说是客户的导入文件模版想支持部分导入内容的下拉选，于是我就找了easyexcel官网寻找解决方案，并没有找到合适的方案，没办法只能自己动手并分享出来，针对Java生成Excel下拉菜单时因选项过多导…...
windows系统MySQL安装文档
概览：本文讨论了MySQL的安装、使用过程中涉及的解压、配置、初始化、注册服务、启动、修改密码、登录、退出以及卸载等相关内容，为学习者提供全面的操作指导。关键要点包括： 解压 ：下载完成后解压压缩包，得到MySQL 8.…...
Vue ③-生命周期 || 脚手架
生命周期 思考：什么时候可以发送初始化渲染请求？（越早越好） 什么时候可以开始操作dom？（至少dom得渲染出来） Vue生命周期： 一个Vue实例从 创建 到 销毁 的整个过程。 生命周期四个…...
DAY 26 函数专题1
函数定义与参数知识点回顾：1. 函数的定义2. 变量作用域：局部变量和全局变量3. 函数的参数类型：位置参数、默认参数、不定参数4. 传递参数的手段：关键词参数5 题目1：计算圆的面积 任务： 编写一…...
Linux基础开发工具——vim工具
文章目录 vim工具什么是vimvim的多模式和使用vim的基础模式vim的三种基础模式三种模式的初步了解 常用模式的详细讲解插入模式命令模式模式转化光标的移动文本的编辑 底行模式替换模式视图模式总结 使用vim的小技巧vim的配置(了解) vim工具 本文章仍然是继续讲解Linux系统下的…...