当前位置： 首页 > news >正文

41.1 预聚合提速实战项目之需求分析和架构设计

news 2026/2/10 22:12:13

本节重点介绍 :

  • 需求分析
  • 架构设计

需求分析

  • 使用预聚合提速查询
  • 并且降低高基数查询对后端的压力
  • 用户无需变更grafana上的查询语句，后端自动替换
  • 效果图
    在这里插入图片描述

在这里插入图片描述

架构设计

  • 架构图
    在这里插入图片描述

解决方案说明

  • heavy_query对用户侧表现为查询速度慢
  • 在服务端会导致资源占用过多甚至打挂后端存储
  • 查询如果命中heavy_query策略(目前为查询返回时间超过2秒)则会被替换为预先计算好的轻量查询结果返回,两种方式查询的结果一致
  • 未命中的查询按原始查询返回
  • 替换后的metrics_name 会变成 hke:heavy_expr:xxxx 字样,而对应的tag不变。对于大分部panel中已经设置了曲线的Legend,所以展示没有区别
  • 现在每晚23:30增量更新heavy_query策略。对于大部分设定好的dashboard没有影响(因为已经存量heavy_query已经跑7天以上了),对于新增策略会从策略生效后开始展示数据,对于查询高峰的白天来说至少保证有10+小时的数据

代码架构说明

  • parse组件根据prometheus的query log分析heavy_query记录
  • 把记录算哈希后增量写入consul，和redis集群中
  • prometheus 根据confd拉取属于自己分片的consul数据生成record.yml
  • 根据record做预查询聚合写入tsdb
  • query前面的lua会将grafana传过来的查询expr算哈希
  • 和redis中的记录匹配，匹配中说明这条是heavy_query
  • 那么替换其expr到后端查询

本节重点总结 :

  • 需求分析
  • 架构设计

相关文章：

41.1 预聚合提速实战项目之需求分析和架构设计

本节重点介绍 : 需求分析架构设计 需求分析 使用预聚合提速查询并且降低高基数查询对后端的压力用户无需变更grafana上的查询语句，后端自动替换效果图 架构设计 架构图 解决方案说明 heavy_query对用户侧表现为查询速度慢在服务端会导致资源占用过多甚至打挂…...

编程日记 2024/12/31 13:09:24

洛谷P2814 家谱（c嘎嘎）

题目链接：P2814 家谱 - 洛谷 | 计算机科学教育新生态 题目难度：普及/提高 解题心得：这道题用了并查集（貌似不怎么常用的字符串并查集），用STL中的map将子孙和祖先连接起来，第一次接触这种做法感…...

编程日记 2024/12/31 13:04:18

时空信息平台-API安全措施-下篇：登录鉴权【访问受限】您的请求已被该站点的安全策略拦截。

文章目录 引言I 登录鉴权处理逻辑校验顺序用户状态校验密码校验Token鉴权短信验证码/图形验证码登录设备限制II 服务端发生错误的处理业务返回码处理前端处理业务返回码nginx处理http状态码引言 时空信息平台-API安全措施：上篇（通讯协议的安全措施） https://blog.csdn.net/z…...

编程日记 2024/12/31 13:03:17

找不到vcruntime140.dll文件，无法继续执行如何修复？共有7种方法

vcruntime140.dll是Microsoft Visual C 2015 Redistributable包的一部分，它是一个动态链接库（DLL），为使用C编写的程序提供必要的运行时支持。当用户尝试运行依赖于这个DLL的程序时，如果系统中缺少vcruntime140.dll文件…...

编程日记 2024/12/31 13:02:16

【PCIe 总线及设备入门学习专栏 4.5 -- PCIe Message and PCIe MSI】

文章目录 PCIe Message 与 MSIPCIe Message 和 MSI 的作用与关系MSI 的配置与寄存器MSI 和 ARM GIC 的关系示例：MSI 在 ARM GIC 的实际应用总结 PCIe Message 与 MSI 本文将介绍 PCIe message 的作用以及message 与 MSI 的关系，再介绍 MSI 如何配置以及…...

编程日记 2024/12/31 13:00:13

Docker搭建MySQL

Docker搭建MySQL 准备工作 先准备配置目录和持久化目录，举个栗子：mkdir -p /opt/module/mysql/{conf,data,log}准备配置文件*.cnf,放到/opt/module/mysql/conf目录下。当然不准备也没事，容器中有个默认配置：/etc/mysql/conf.d/m…...

编程日记 2024/12/31 12:49:04

#C01L11P02. C01.L11.while循环.while循环和for循环的区别

唉，你们善良的王又来给你们发文章了！！！ for循环一般应用于循环次数已知的情况； while循环一般应用于循环次数未知的情况； 在一般情况下，这两者是可以相互转化的。 举一个简单较适合用for循环…...

编程日记 2024/12/31 12:47:02

利用deepspeed在Trainer下面微调大模型

当模型参数越来越大的情况下，如果我们的GPU内存比较小，那么就没办法直接进行全参数微调，此时我们可以借助deepspeed来进行微调。 1、deepspeed的配置文件：deepspeed.json {"train_batch_size": 4,"train_micro_b…...

编程日记 2024/12/31 12:44:57

【spring】参数校验Validation

前言 在实际开发中，我们无法保证客户端传来的请求都是合法的。比如一些要求必传的参数没有传递，传来的参数长度不符合要求等，这种时候如果放任不管，继续执行后续业务逻辑，很有可能就会出现意想不到的bug。 有人可能会…...

编程日记 2024/12/31 12:42:55

基于PyQt5的UI界面开发——图像与视频的加载与显示

介绍 这里我们的主要目标是实现一个基于PyQt5和OpenCV的图像浏览和视频播放应用。用户可以选择本地的图像或视频文件夹，进行图像自动播放和图像切换以及视频播放和调用摄像头等操作，并且支持图像保存功能。项目的核心设计包括文件路径选择、图像或视频的…...

编程日记 2024/12/31 12:40:53

[python SQLAlchemy数据库操作入门]-16.CTE：简化你的复杂查询

哈喽，大家好，我是木头左！ 在SQL的世界里，Common Table Expressions（公共表表达式），简称CTE，是一种强大的工具，它允许用户在单个查询中定义临时的结果集。这些结果集可以在整个查询中被多次引用，就像它们是数据库中的物理表一样。CTE不仅提供了一种组织和简化复杂查询…...

编程日记 2024/12/31 12:39:52

多分类的损失函数

在多分类任务中，常用的损失函数能够衡量模型输出的类别分布与目标类别之间的差异，帮助模型学习更准确的分类能力。以下是多分类任务中常用的损失函数： 1. 交叉熵损失（Cross-Entropy Loss） 公式: CrossEntropyLoss = − 1 N ∑ i =...

编程日记 2024/12/31 12:38:50

在WSL的系统中配置免密和GitHub传输数据（SSH）

在 WSL（Windows Subsystem for Linux）系统中配置免密与 GitHub 传输数据，主要包括设置 SSH 密钥对、将公钥添加到 GitHub 账户以及确保可以通过 WSL 正常使用这些密钥。以下是详细的步骤： 1. 检查现有 SSH 密钥 首先&#xff0c…...

编程日记 2024/12/31 12:33:46

Python中元组（tuple）内置的数据类型

在Python中，元组（tuple）是一种内置的数据类型，用于存储不可变的有序元素集合。元组在很多方面与列表（list）相似，但它们之间存在一些关键的区别。以下是关于Python元组的详细解释： 定…...

编程日记 2024/12/31 12:30:43

chrome缓存机制以及验证缓存机制

一、Chrome 缓存机制 浏览器缓存机制旨在提高网页加载速度、减少服务器负载和节约带宽。Chrome 的缓存主要包括以下几种类型： 1. 强缓存 (Strong Cache) 无需向服务器发送请求即可使用缓存的资源。由 HTTP 响应头控制，包括： Expires&…...

编程日记 2024/12/31 12:29:42

医药进出口交易|基于SSM＋vue的医药进出口交易系统的设计与实现(源码+数据库+文档)

医药进出口交易系统 目录 基于SSM＋vue的医药进出口交易系统的设计与实现 一、前言 二、系统设计 三、系统功能设计 5.1系统登录 5.2管理员功能模块 5.3仓储部门功能模块 5.4业务部门功能模块 5.5供应部门功能模块 5.6财务部功能模块 5.7客户功能模块 …...

编程日记 2024/12/31 12:28:40

爱快 IK-Q6000 WiFi6无线路由器 简单开箱评测和拆解

爱快（iKuai） IK-Q6000 WiFi6无线路由器 简单开箱评测和拆解 因为用的爱快软路由，所以就想着将AP全换成爱快的，方便管理，目前买了多款爱快的无线路由器当AP（IK-Q6000、IK-W35、IK-Q3600）&#x…...

编程日记 2024/12/31 12:26:38

时间敏感网络中全面分析与调度的模型驱动方法

论文：A Model-Driven Approach for the Comprehensive Analysis and Scheduling in Time-Sensitive Networks》 背景与动机 TSN 的发展与应用领域：自 2012 年起，IEEE 802.1 TSN 任务组致力于开发通信标准，增强 IEEE 802 网络&…...

编程日记 2024/12/31 12:25:37

统计颜色Count Color（POJ2777）题解

有一个长度为L厘米板，L是一个正整数，所以我们可以把它均匀地划分成L个部分，分别从左到右编号为1，2……L，每一个部分长度都为1厘米。现在我们必须给每个部分涂色，一个部分一种颜色，要求完成以下两…...

编程日记 2024/12/31 12:22:31

MySQL数据的增删改查（一）

目录 新增（create） 插入单条记录 插入多条记录 查询（retrieve） 查询所有列 查询特定列 查询字段为表达式 别名 去重 排序 按单列排序 按多列排序 使用表达式或别名排序 排序NULL值 条件查询 比较运算符 逻辑运算…...

编程日记 2024/12/31 12:20:29

网络编程（Modbus进阶）

思维导图 Modbus RTU（先学一点理论） 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议，由 Modicon 公司（现施耐德电气）于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…...

编程新知 2026/2/9 2:42:51

Python爬虫实战：研究MechanicalSoup库相关技术

一、MechanicalSoup 库概述 1.1 库简介 MechanicalSoup 是一个 Python 库，专为自动化交互网站而设计。它结合了 requests 的 HTTP 请求能力和 BeautifulSoup 的 HTML 解析能力，提供了直观的 API，让我们可以像人类用户一样浏览网页、填写表单和提交请求。 1.2 主要功能特点…...

编程新知 2025/10/10 18:13:55

【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15

缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下： struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...

编程新知 2025/11/27 21:52:13

应用升级/灾备测试时使用guarantee 闪回点迅速回退

1.场景 应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。 相对于RMAN恢复需要很长时间， 数据库闪回只需要几分钟。 2.技术实现 数据库设置 2个db_recovery参数 创建guarantee闪回点，不需要开启数据库闪回。…...

编程新知 2026/1/14 22:12:47

CTF show Web 红包题第六弹

提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框，很难让人不联想到SQL注入，但提示都说了不是SQL注入，所以就不往这方面想了 ​ 先查看一下网页源码，发现一段JavaScript代码，有一个关键类ctfs…...

编程新知 2026/2/5 4:33:58

rknn优化教程（二）

文章目录 1. 前述2. 三方库的封装2.1 xrepo中的库2.2 xrepo之外的库2.2.1 opencv2.2.2 rknnrt2.2.3 spdlog 3. rknn_engine库 1. 前述 OK，开始写第二篇的内容了。这篇博客主要能写一下： 如何给一些三方库按照xmake方式进行封装，供调用如何按…...

编程新知 2025/6/11 15:25:30

在HarmonyOS ArkTS ArkUI-X 5.0及以上版本中，手势开发全攻略：

在 HarmonyOS 应用开发中，手势交互是连接用户与设备的核心纽带。ArkTS 框架提供了丰富的手势处理能力，既支持点击、长按、拖拽等基础单一手势的精细控制，也能通过多种绑定策略解决父子组件的手势竞争问题。本文将结合官方开发文档&#xff0c…...

编程新知 2025/9/19 4:31:58

FastAPI 教程：从入门到实践

FastAPI 是一个现代、快速（高性能）的 Web 框架，用于构建 API，支持 Python 3.6。它基于标准 Python 类型提示，易于学习且功能强大。以下是一个完整的 FastAPI 入门教程，涵盖从环境搭建到创建并运行一个简单的…...

编程新知 2025/10/16 7:51:26

Java多线程实现之Callable接口深度解析

Java多线程实现之Callable接口深度解析 一、Callable接口概述1.1 接口定义1.2 与Runnable接口的对比1.3 Future接口与FutureTask类 二、Callable接口的基本使用方法2.1 传统方式实现Callable接口2.2 使用Lambda表达式简化Callable实现2.3 使用FutureTask类执行Callable任务 三、…...

编程新知 2026/1/25 6:36:06

WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成

厌倦手动写WordPress文章？AI自动生成，效率提升10倍！ 支持多语言、自动配图、定时发布，让内容创作更轻松！ AI内容生成 → 不想每天写文章？AI一键生成高质量内容！多语言支持 → 跨境电商必备&am…...

编程新知 2026/1/30 17:24:20