【Yarn】通过JMX采集yarn相关指标的Flink任务核心逻辑
通过JMX采集yarn相关指标的Flink任务核心逻辑
文章目录
- 通过JMX采集yarn相关指标的Flink任务核心逻辑
- 通过jmx接口查询Yarn队列指标
- 请求JMX
- 配置项
- 核心处理流程
- 输出到kafka格式
- 通过jmx接口查询ResourceManager核心指标
- 请求JMX
- 读取配置yaml配置文件
- 核心处理逻辑
- 输出Kafka格式
- 彩蛋 Flink 1.19中模拟调度每分钟调度
查询Active RM节点，然后将数据写入Kafka
通过jmx接口查询Yarn队列指标
请求JMX
队列相关指标：http://XXXXX:XXXX/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,*
配置项
# 指标值采用瞬间值的指标名称字符串，以英文逗号分隔
jmx.filter.queue.metric.momentary=AllocatedVCores,MaxShareVCores,MinShareVCores,AllocatedMB,MaxShareMB,MinShareMB,PendingMB,PendingVCores,MaxApps,AppsRunning,AppsPending,AllocatedContainers,PendingContainers
# 指标值采用两次差值的指标名称字符串，以英文逗号分隔
jmx.filter.queue.metric.difference=AppsSubmitted,AppsCompleted,AppsKilled,AppsFailed
核心处理流程
相关文章：
【Yarn】通过JMX采集yarn相关指标的Flink任务核心逻辑
通过JMX采集yarn相关指标的Flink任务核心逻辑 文章目录 通过JMX采集yarn相关指标的Flink任务核心逻辑通过jmx接口查询Yarn队列指标请求JMX配置项核心处理流程输出到kafka格式通过jmx接口查询ResourceManager核心指标请求JMX读取配置yaml配置文件核心处理逻辑输出Kafka格式彩蛋 …...
鸿蒙HarmonyOS开发：基于Swiper组件和自定义指示器实现多图片进度条轮播功能
文章目录 一、概述1、场景介绍2、技术选型 二、实现方案1、图片区域实现2、底部导航点设计3、手动切换 三、所有代码1、设置沉浸式2、外层Tabs效果3、ImageSwiper组件 四、效果展示 一、概述 在短视频平台上，经常可以见到多图片合集。它的特点是：由多张…...
Excel 身份证号计算年龄
1. 设置身份证号列格式 复制身份证列值到记事本或其他地方重新设置身份证号列单元格格式为“文本”将复制出去的身份证号重新复制粘贴回来 2. 年龄列单元格中添加公式 DATEDIF(DATE(LEFT(MID(A2, 7, 8), 4), MID(MID(A2, 7, 8), 5, 2), RIGHT(MID(A2, 7, 8), 2)), TODAY(), …...
【2024年-6月-14日-开源社区openEuler实践记录】探索 test - tools：高效测试的开源宝库
开篇引言 大家好，我是 fzr123，在软件开发领域深耕多年，一直致力于探索各种提升效率的工具与技术。今天，我将为大家深入介绍一款在测试领域极具价值的开源项目——test - tools，它为开发者们提供了一系列强大的测试功能…...
2022浙江大学信号与系统笔记
原视频地址：2022浙江大学信号与系统（含配套课件和代码） - 胡浩基老师-哔哩哔哩 ⭐⭐⭐ 我的笔记：飞书链接 - 信号与系统 基于视频，记得笔记，加了点自己的补充（有的是问 ChatGPT 的）…...
DeepSeek-VL2
《DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding》是 DeepSeek-AI 团队发布的关于视觉语言模型 DeepSeek-VL2 的论文，以下是对该论文的详细介绍： 研究背景与动机 多模态理解的重要性：在当…...
前端⾯试⼋股⽂
1.http 和 https 的基本概念 - http: 是⼀个客⼾端和服务器端请求和应答的标准（TCP），⽤于从 WWW 服务器传输超⽂本到本地浏 览器的超⽂本传输协议。 - https:是以安全为⽬标的 HTTP 通道，即 HTTP 下 加⼊ SSL 层进⾏加密。其作⽤…...
【Rust自学】8.6. HashMap Pt.2：更新HashMap
8.6.0. 本章内容 第八章主要讲的是Rust中常见的集合。Rust中提供了很多集合类型的数据结构，这些集合可以包含很多值。但是第八章所讲的集合与数组和元组有所不同。 第八章中的集合是存储在堆内存上而非栈内存上的，这也意味着这些集合的数据大小无需在编…...
Python异常处理详解：概念、语法与实践
1. 异常的概念 在Python中，异常（Exception）是程序运行时出现的错误或不正常情况。异常通常表示程序在运行时遇到了无法继续执行的条件。Python通过 try/except 语句来捕获和处理异常。 异常可以分为两类： 内建异常：…...
Kotlin在医疗大健康域的应用实例探究与编程剖析（上）
一、引言 1.1 研究背景与意义 在当今数字化时代，医疗行业正经历着深刻的变革。随着信息技术的飞速发展，尤其是人工智能、大数据、物联网等新兴技术的广泛应用，医疗行业数字化转型已成为必然趋势。这种转型旨在提升医疗服务的效率和质量，优化医疗资源配置，为患者提供更加…...
QT----------QT Data Visualzation
实现思路： 配置项目：在 .pro 文件中添加 QT datavisualization 以引入 QT Data Visualization 模块。创建主窗口：使用 QMainWindow 作为主窗口，添加 Q3DScatter、Q3DBars 和 Q3DSurface 等三维视图组件。初始化和创建三维图表&a…...
什么是Sight Words（信号词）
🧡什么是Sight Words（信号词） 简单来说，Sight Words就是我们在日常英语中常用的一些基本词汇。可以把它想象成是学练英语的“基础词汇”，这些词在各种考试中经常出现，也是在生活中必不可少的。 …...
SpringBoot日志快速集成详解-生产实战
SpringBoot日志快速集成详解 1. 添加依赖2. 创建 logback-spring.xml 配置文件示例 logback-spring.xml 配置： 3. 启用 Spring Boot 自动配置4. 配置 Spring Boot 启动日志级别5. 运行与验证 博文专注于最快速的实战，没有那么多逼逼叨叨的理论࿰…...
路由技术在网络中的作用及特点
作用：路径选择：在复杂的网络拓扑结构中，路由技术能够根据网络的当前状态和目标地址，为数据报文选择一条最佳的传输路径，确保数据能够快速、准确地到达目的地。例如，在互联网中，当用户访问一个网…...
【Python系列】Flask 与 FastAPI：两个 Python Web 框架的对比分析
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...
云手机：虚拟技术的革命性应用与实体手机的优劣对比
在近年来，随着互联网的火速发展，云手机作为一种新兴的技术产品，在游戏行业特别是手游市场中掀起了一股热潮。云手机，顾名思义，是架设在ARM虚拟服务器上的手机，其独特的虚拟技术为用户带来了前所未有的使用体…...
3. C语言 数据类型
本章目录： 前言：C语言中的数据类型分类1. 基本数据类型1.1 整数类型1.2 浮点类型1.3 字符型常量1.4 字符串常量 2. 枚举类型3. void 类型void类型的使用示例： 4. 类型转换4.1 隐式类型转换4.2 显式类型转换类型转换的注意事项 5. 小结 前言&a…...
npm install 安装选项 -d -s -g
在使用 npm install 时，-d、-g 和 -s 是不同的选项，它们分别代表不同的安装模式或行为。以下是它们的详细解释： 1. -d：--save-dev 含义：将包安装为开发依赖（devDependencies）。使用场景&#…...
pdf预览兼容问题- chrome浏览器105及一下预览不了
使用的"tato30/vue-pdf": "^1.11.2"预览插件，发现chrome浏览器105及一下预览不了 pdfPreview预览组件： <template><div id"vue_pdf_view"><div class"tool_tip"><template v-if"pa…...
【可实战】需求分析-测试计划↓-测试设计-测试执行-测试总结↓（包含测试计划、测试总结模板，以公司要求为准）
一、完成软件测试工作的必要步骤 需求分析-测试计划-测试设计-测试执行-测试总结 二、测试计划 （一）测试计划模版 模板在线查看： https://docs.qq.com/doc/DV2hTamxJWnNDaUFF 模板（百度网盘）： 链接&…...
Cesium1.95中高性能加载1500个点
一、基本方式： 图标使用.png比.svg性能要好 <template><div id"cesiumContainer"></div><div class"toolbar"><button id"resetButton">重新生成点</button><span id"countDisplay&qu…...
LeetCode - 394. 字符串解码
题目 394. 字符串解码 - 力扣（LeetCode） 思路 使用两个栈：一个存储重复次数，一个存储字符串 遍历输入字符串： 数字处理：遇到数字时，累积计算重复次数左括号处理：保存当前状态&a…...
【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例
文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...
unix/linux，sudo，其发展历程详细时间线、由来、历史背景
sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...
OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别
OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别 直接训练提示词嵌入向量的核心区别 您提到的代码： prompt_embedding = initial_embedding.clone().requires_grad_(True) optimizer = torch.optim.Adam([prompt_embedding...
多模态大语言模型arxiv论文略读（108）
CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文标题：CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文作者：Sayna Ebrahimi, Sercan O. Arik, Tejas Nama, Tomas Pfister ➡️ 研究机构: Google Cloud AI Re…...
【C++从零实现Json-Rpc框架】第六弹 —— 服务端模块划分
一、项目背景回顾 前五弹完成了Json-Rpc协议解析、请求处理、客户端调用等基础模块搭建。 本弹重点聚焦于服务端的模块划分与架构设计，提升代码结构的可维护性与扩展性。 二、服务端模块设计目标 高内聚低耦合：各模块职责清晰，便于独立开发…...
网站指纹识别
网站指纹识别 网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍 为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...
【分享】推荐一些办公小工具
1、PDF 在线转换 https://smallpdf.com/cn/pdf-tools 推荐理由：大部分的转换软件需要收费，要么功能不齐全，而开会员又用不了几次浪费钱，借用别人的又不安全。 这个网站它不需要登录或下载安装。而且提供的免费功能就能满足日常…...
Go 并发编程基础：通道（Channel）的使用
在 Go 中，Channel 是 Goroutine 之间通信的核心机制。它提供了一个线程安全的通信方式，用于在多个 Goroutine 之间传递数据，从而实现高效的并发编程。 本章将介绍 Channel 的基本概念、用法、缓冲、关闭机制以及 select 的使用。 一、Channel…...