当前位置： 首页 > news >正文

【bug排查解决】现象级延迟8-10s

news 2026/3/31 8:31:08

业务背景

最近公司在做物联网相关的项目，调试过程中发现好玩的bug。
首先一个数据采集场景，plc采集数据全链路：
kepServer（kepserver IOT gateway） -> emqx （查看日志）-> iot服务 -> 业务处理发送Kafka -> flink消费 -> websocket推送告警...
【整个链路还是比较长的】

整个过程是这样的，

  • kepServer。kepServer上配置设备需要采集的plc数据点位，kepServer自带的 IOT gateway，可以针对任意配置点位推送至EMQX服务器topic以及点位推送速率，为了调试配置了几个点位有虚拟点位和真实点位
  • EMQX。启动EMQX：MQTT服务器（业内比较常用的MQTT服务器）
  • IOT服务。 kepServer IOT配置点位数据发生变化后，将数据推送给EMQX，IOT服务监听对应topic解析组装数据直接将消息推送至Kafka。
  • kafka。Kafka为所有类型数据的入口，所有类型数据统一推送至Kafka，如ModBus、MQTT、HttpApi…
  • Flink服务。Flink服务实时消费Kafka数据，根据IOT服务中配置与kepServer上对应的点位以及针对不同点位配置的告警模板，根据阈值或者状态等其他规则实时处理数据。
  • WebSocket。目前Flink集成WebSocket，根据阈值实时推送给前端，实时展示数据，如传感器温湿度、设备状态…

现象

调试真实点位

率先发现改变设备运行状态plc点位值，设备运行状态或者告警产生比较慢【延迟比较多】

分析

查看现有日志，初步分析发现消息生产到推送到Kafka有10s延迟

初步分析：

  • kepserver 消息产生有时间
  • emqx可以配置日志级别为 debug，查看接受到消息的时间 延迟没问题
  • 发送Kafka之前的逻辑比较简单，不会有延迟

最终定位问题IOT接受消息有延迟，IOT框架内Listener监听消息有延迟 orz（初步定位，实际上是错的）

后续，又将IOT监听MQTT消息初打日志，发送Kafka消息耗时时间打印。

对比多个关键节点时间，发现两个延迟点：

  1. kepServer数据发生变化的时间和EMQX接收到kepServer推送的消息的时间对比：发现有个5-8s的延迟【kepServer->EMQX】
  2. Kafka发送消息到成功回调：有个固定2s左右的延迟【Kafka】

发现问题比解决问题更难，多打日志，好定位问题，养成习惯

最终解决

全链路排查

  1. kepServer

    • kepServer IOT gateway -> rate 速率设置，由10000 -> 1000

    • 这个参数改为1000之后呢（kepServer延迟得到解决），原本8-10s的延迟，变为了3s延迟左右

  2. kafka

    • 通过代码中各个关键节点打的日志，发现Kafka发消息到成功回调基本稳定在2s延迟左右，偶尔会有基本无延迟的情况（这种情况有点意思）

    • 各种查资料发现Kafka有如下几个与消息缓存区相关的参数

          kafka:...producer:batch-size: 16384 # kafka本地线程会去缓冲区中⼀次拉16k的数据，发送到brokerbuffer-memory: 33554432 # 消息缓冲区默认32m...properties:linger:ms: 10 # 默认 10ms

      如果线程拉不到16k的数据，间隔10ms也会将已拉到的数据发到broker

    原本这个时间参数刚好设置的就是2000ms，与上述刚好固定两秒延迟相符，偶尔有无延迟现象说明该消息刚发送就到了2s的频次直接就发生了无延迟

    • 该时间参数不设置或者设置小一些对延迟有明显的提升，但这样就会频繁发送消息增大网络开销，自行根据业务取舍
    • 整个默认10ms吧

所有都改完之后，基本延迟在1s左右，由于链路本身就比较长，这个时间还是可以接受的。yes

相关文章：

【bug排查解决】现象级延迟8-10s

业务背景 最近公司在做物联网相关的项目，调试过程中发现好玩的bug。 首先一个数据采集场景，plc采集数据全链路： kepServer（kepserver IOT gateway） -> emqx （查看日志）-> iot服务 -> 业…...

编程日记 2023/12/7 23:42:58

【人生感悟】不能对一个人太好是有心理学原理的

1、不能对一个人太好是有心理学原理的，当你长期友善对待一个人时，如果这个人认知程度不是很高，层次稍微的偏低，那他可能直接把你的友善理解为理所应当，甚至是你在讨好他，还会把你们之间的关系理解成他是高于…...

编程日记 2023/12/7 23:41:57

动态规划学习——最长回文子序列，让字符串变成回文串的最小插入次数

一，最长回文串 1.题目 给你一个字符串 s ，找出其中最长的回文子序列，并返回该序列的长度。 子序列定义为：不改变剩余字符顺序的情况下，删除某些字符或者不删除任何字符形成的一个序列。 示例 1： 输入&…...

编程日记 2023/12/7 23:40:56

CSS新手入门笔记整理：CSS列表样式

列表项符号：list-style-type 在HTML中，对于有序列表和无序列表的列表项符号，都是使用type属性来定义的。 语法 list-style-type:取值; list-style-type属性是针对ol或者ul元素的，而不是li元素。 有序列表属性 属性值 说明 …...

编程日记 2023/12/7 23:37:53

12月07日，每日信息差

以下是2023年12月07日的11条信息差 第一、社交媒体公司X计划在日本成立应用开发团队 第二、造车进程加快，小米汽车在多地招聘零售门店主管，零售门店主管工作地点涉及武汉、重庆、长沙、郑州、佛山、东莞、厦门等城市 第三、我国西南地区首座百万千瓦级…...

编程日记 2023/12/7 23:35:51

spring mvc理解

spring mvc M：model 模型 V：view 视图 C：controller 控制器 S: service 服务处理 D: Dao 数据持久化 视图 我理解就是web页面，帮助用户调用后端接口。 前后端分离之后，view似乎就和后端没什么关系了。 模型 格式…...

编程日记 2023/12/7 23:33:49

HTML-标签之文字排版、图片、链接、音视频

1、标签语法 HTML超文本标记语言——HyperText Markup Language 超文本是链接标记也叫标签，带尖括号的文本 2、HTML基本骨架 HTML基本骨架是网页模板 html：整个网页head：网页头部，存放给浏览器看的代码，例如CSSbody…...

编程日记 2023/12/7 23:30:46

圣诞将至—C语言圣诞树代码来啦

文章目录 圣诞将至—C实现语言圣诞树源码 圣诞将至—C实现语言圣诞树 圣诞树 源码 #define _CRT_SECURE_NO_WARNINGS#include <stdio.h> #include <math.h> #include <stdlib.h> #include <windows.h> #include <time.h> #define PI 3.14159265…...

编程日记 2023/12/7 23:23:38

Git常用命令#merge分支合并

要查看所有分支&#xff0c;包括本地和远程仓库的分支&#xff0c;可以使用以下命令&#xff1a; 1.查看分支 1.1 查看本地分支 git branch这个命令会列出本地所有的分支&#xff0c;当前所在的分支会有 * 标记。 1.2 查看远程分支 git branch -r这个命令会列出远程仓库的分…...

编程日记 2023/12/7 23:20:35

Windows server 2019 域环境部署

环境准备 准备3台服务器&#xff0c;配置都是8g2核&#xff0c;50g硬盘&#xff0c;操作系统版本Windows Server 2019 Datacenter 域服务器&#xff1a;adc&#xff0c;192.168.56.120服务器1&#xff1a;server1:&#xff0c;192.168.56.121服务器2&#xff1a;server2&…...

编程日记 2023/12/7 23:18:33

Cocos Creator加入图片没有被识别

原因&#xff0c;需要更换类型&#xff0c;选择下图中的类型...

编程日记 2023/12/7 23:17:32

java double类型保留两位小数并去除后面多余的0

public static void main(String[] args) {double value9.100001;//保留两位小数String format String.format("%.2f", value);//去除多余的0String strValue new BigDecimal(format).stripTrailingZeros().toPlainString();System.out.println("strValue &q…...

编程日记 2023/12/7 23:16:30

C++学习寄录（九.多态）

1.多态基本概念 先来看这样的代码&#xff0c;我的本意是想要输出“小猫在说话”&#xff0c;但实际输出的却是“动物在说话”。这是因为地址早绑定&#xff0c;在代码编译阶段就已经确定了函数地址&#xff1b;如果想要实现既定目标&#xff0c;那么这个dospeak&#xff08;&…...

编程日记 2023/12/7 23:15:29

【Linux基础开发工具】yum生态vim的配置与使用

目录 前言 1. Linux 软件包管理器 yum 1.1 什么是yum 1.2 快速上手yum 1.3 yum生态 2. Linux编辑器vim 2.1 vim的模式 2.2 vim使用技巧 3. vim编辑器辅助功能配置 3.1 配置 3.2 用户sudo权限配置 总结 前言 Linux基础指令与权限之后&#xff0c;Linux系统开发工具的使用…...

编程日记 2023/12/7 23:10:24

java-HashMap、TreeMap、LinkedHashMap、ArrayList、LinkedList使用笔记

背景 Map<String, Integer> unsortedMap new HashMap<>(); unsortedMap.put("One", 1); unsortedMap.put("Two", 2); unsortedMap.put("Three", 3); unsortedMap.put("Four", 4); 一、关于排序 TreeMap&#…...

编程日记 2023/12/7 23:09:24

Oracle中mybatis批量更新报错ORA-00933：SQL命令未正确结束

项目场景&#xff1a; 最近在开发项目的过程中遇见了这个问题&#xff1a;Oracle中批量更新的时候报错 ORA-00933&#xff1a;SQL命令未正确结束 问题描述 mybatis批量更新报错ORA-00933&#xff1a;SQL命令未正确结束 <foreach item"item" index"index&q…...

编程日记 2023/12/7 23:05:20

Mysql综合案例练习＜1＞

MySql综合案例练习<1> 题目一题目二题目三题目四题目五题目六题目七题目八题目九题目十题目十一题目十二题目十三题目十四题目十五题目十六题目十七题目十八题目十九 题目一 创建数据库test01_library 创建表 books&#xff0c;表结构如下&#xff1a; CREATE DATABASE …...

编程日记 2023/12/7 23:04:19

Linux系统编程：线程总结

线程的概念 基本概念 所谓线程&#xff0c;通俗的说就是一个正在运行的函数。 在Linux系统中&#xff0c;线程是程序运行的最小单位&#xff0c;也被视为进程内部的控制序列。同一进程下的多个线程共享进程的所有资源&#xff0c;包括进程环境变量、打开的文件描述符、信号量…...

编程日记 2023/12/7 23:03:18

activemq启动成功但web管理页面却无法访问

前提&#xff1a; 在linux启动activemq成功&#xff01;本地能ping通linux 处理方案&#xff1a; 确定防火墙是否关闭&#xff0c; 有两种处理方案&#xff1a;第一种-关闭防火墙&#xff1b;第二种-暴漏8161和61616两个端口 netstat -lnpt查看8161和61616端口 注意&#xf…...

编程日记 2023/12/7 23:01:16

【Flink on k8s】- 0 - Flink kubernetes operator 快速入门与实战

完整的课程，请点击链接。 目录 一、你将收获 二、适用人群 三、课程介绍...

编程日记 2023/12/7 22:59:14

从裸机到RTOS：IMX6ULL启动流程与FreeRTOS源码实战解析

1. IMX6ULL裸机启动机制详解 第一次拿到IMX6ULL开发板时&#xff0c;很多人会疑惑&#xff1a;为什么我的程序烧录进去没反应&#xff1f;这得从芯片的启动机制说起。IMX6ULL上电后最先执行的并不是我们写的代码&#xff0c;而是芯片内部ROM中的固化程序。这个ROM代码就像个尽职…...

编程新知 2026/3/31 8:15:31

编程技巧：模式切换程序框架

目录 1.模式切换程序框架 2.实现思路 3.模式切换程序框架 4.模式切换每个模式模块化流程 5.代码 Mode1.c Mode2.c Mode3.c Global.c main.c 1.模式切换程序框架 Init&#xff1a;进入模式前&#xff0c;执行一遍&#xff0c;用于初始化工作 Loop&#xff1a;执行完In…...

编程新知 2026/3/31 7:51:25

Fish-Speech-1.5技术报告解读：LLM如何提升TTS表现

Fish-Speech-1.5技术报告解读&#xff1a;LLM如何提升TTS表现 1. 引言 你有没有想过&#xff0c;为什么有些语音合成系统听起来还是那么"机械"&#xff0c;而有些已经几乎和真人无异&#xff1f;这背后的技术差距到底在哪里&#xff1f;今天我们要聊的Fish-Speech-…...

编程新知 2026/3/31 7:37:23

Java AI推理服务上线即崩？JVM GC日志暴露真相：Metaspace暴涨470%、Direct Memory泄漏12.6GB——5行代码精准修复方案（含Arthas实时监控脚本）

第一章&#xff1a;Java AI推理服务集成概述在现代企业级AI应用架构中&#xff0c;Java凭借其稳定性、丰富的生态和成熟的微服务支持能力&#xff0c;正成为部署AI推理服务的重要后端语言。与Python主导的模型训练场景不同&#xff0c;Java更常用于高并发、低延迟、强事务保障的…...

编程新知 2026/3/31 7:31:19

数字孪生通信层开发：C#实现OPC UA到Unity3D的实时数据映射（2026年工业级实战指南）

引言&#xff1a;通信层不是“锦上添花”&#xff0c;而是“数字孪生的血脉” 在2026年的工业数字孪生战场上&#xff0c;OPC UA到Unity3D的数据映射延迟是决定孪生体“活”与“死”的关键。IDC 2026年工业物联网报告显示&#xff1a;76%的数字孪生项目因通信层延迟>100ms失…...

编程新知 2026/3/31 7:07:00

DRM驱动（三）之核心模块回调函数解析

1. DRM驱动回调函数的核心作用 如果你曾经在Linux系统下开发过显示驱动&#xff0c;一定会对DRM&#xff08;Direct Rendering Manager&#xff09;框架不陌生。作为现代Linux显示系统的核心&#xff0c;DRM框架通过一系列精心设计的回调函数&#xff0c;让硬件厂商能够灵活地适…...

编程新知 2026/3/31 6:22:40

AI大模型进化地图：小白也能看懂的技术架构与未来趋势（收藏版）

本文深入剖析AI模型的技术架构、能力瓶颈及商业压力&#xff0c;揭示未来AI模型的四类形态&#xff1a;通用基础大模型、深度推理模型、边缘轻量模型和垂直领域专业模型。文章通过DeepSeek-R1和Google Gemini的案例&#xff0c;量化分析不同模型类型的业务逻辑差异&#xff0c;…...

编程新知 2026/3/31 4:17:07

SP140 ESC遥测驱动库：曼彻斯特编码与单线UART嵌入式解析

1. OpenPPG_SP140_ESC 库深度解析&#xff1a;面向电动动力系统的嵌入式ESC遥测驱动开发指南1.1 项目定位与工程价值OpenPPG_SP140_ESC 是一个专为 SP140 电子调速器&#xff08;ESC&#xff09;设计的 Arduino 兼容库&#xff0c;其核心价值不在于通用电机控制&#xff0c;而在…...

编程新知 2026/3/31 4:00:52

麦克风效率革命：MicMute让静音操作提速90%的终极体验升级

麦克风效率革命&#xff1a;MicMute让静音操作提速90%的终极体验升级 【免费下载链接】MicMute Mute default mic clicking tray icon or shortcut 项目地址: https://gitcode.com/gh_mirrors/mi/MicMute 你是否经历过线上会议中手忙脚乱寻找静音按钮的窘迫&#xff1f;…...

编程新知 2026/3/31 3:54:51

MoveIt2的KDL插件不好用？手把手教你自定义关节权重，优化机械臂运动优先级

MoveIt2关节权重调优实战&#xff1a;如何让冗余机械臂按你的想法运动 当机械臂的第七个关节开始不受控制地乱转&#xff0c;而前三个关节却几乎不动时&#xff0c;大多数工程师的第一反应是"这IK算法有问题"。但真相往往是&#xff1a;算法没问题&#xff0c;只是它…...

编程新知 2026/3/31 3:24:26