记录一次架构优化处理性能从3千-＞3万
0.背景
优化Kafka消费入Es，适配600台设备上报数据，吞吐量到达2万每秒
1.环境配置
2.压测工具
3.未优化之前的消费逻辑
4.优化之后的消费流程
5.多线程多ESclient
6.修改ES配置，增加kafka分区，增加线程，提升吞吐量
7.索引分桶提升吞吐量
相关文章：
记录一次架构优化处理性能从3千-＞3万
0.背景 优化Kafka消费入Es，适配600台设备上报数据，吞吐量到达2万每秒 1.环境配置 2.压测工具 3.未优化之前的消费逻辑 4.优化之后的消费流程 5.多线程多ESclient 6.修改ES配置，增加kafka分区，增加线程，提升吞吐量 7.…...
c++二进制位运算使用方法
文章主要内容： C 中的位运算符主要用于对整数类型的数据进行位操作，包括按位与（&）、按位或（|）、按位异或（^）、取反（~）、左移（<<&#…...
TypeScript之JSON点语法调用
场景 当我们想要通过将JSON中的属性名赋值给一个变量,并且通过点语法实现字段调用.常规的String变量保存会出现下述问题,就可以通过String[][]实现动态调用字段. let parentJSON{"name":"liupeng"}let a:String;Object.keys(parentJSON).forEach(key >…...
手撕Java集合之简易版Deque(LinkedList)
在目前，许多互联网公司的面试已经要求能手撕集合源码，集合源码本身算是源码里比较简单的一部分，但是要在面试极短的10来分钟内快速写出一个简易版的源码还是比较麻烦的，很容易出现各种小问题。所以在平时就要注重这方面的联系。 以…...
MySQL知识点归纳总结（二）
10、MVCC实现原理？ 事务ID（Transaction ID）：每个事务在执行时都会被分配一个唯一的事务ID，用于标识该事务的开始时间顺序。事务ID是一个递增的整数，随着每个新事务的开始而递增。 Undo日志（Un…...
vue：实现顶部消息横向滚动通知
前言 系统顶部展示一个横向滚动的消息通知，就是消息内容从右往左一直滚动。 效果如下： 代码 使用 <template><div class"notic-bar"><img :src"notic" class"notice-img" /><div class"noti…...
[笔记] wsl 禁用配置 win系统环境变量+代理
wsl 配置禁用 win系统环境变量 进入 wsl 的 /etc/wsl.conf 目录，增加以下配置： [interop] enabledfalse appendWindowsPathfalse然后退出wsl，并且执行关闭正在运行的 wsl，执行命令 wsl --shutdown 最后重新进入wsl 即可。 参考…...
Mysql标量子查询
目录 子查询标量子查询数据准备 子查询 SQL语句中嵌套select语句，称为嵌套查询，又称子查询。 SELECT * FROM t1 WHERE column1 ( SELECT column1 FROM t2 ... );子查询外部的语句可以是insert / update / delete / select 的任何一个&…...
深入了解Java虚拟机（JVM）
Java虚拟机（JVM）是Java程序运行的核心组件，它负责解释执行Java字节码，并在各种平台上执行。JVM的设计使得Java具有跨平台性，开发人员只需编写一次代码，就可以在任何支持Java的系统上运行。我们刚开始学习Ja…...
Image Fusion via Vision-Language Model【文献阅读】
阅读目录 文献阅读AbstractIntroduction3. Method3.1. Problem Overview3.2. Fusion via Vision-Language Model 4. Vision-Language Fusion Datasets5. Experiment5.1Infrared and Visible Image Fusion 6. Conclusion个人总结 文献阅读 原文下载：https://arxiv.or…...
探索Manticore Search：开源全文搜索引擎的强大功能
在当今信息爆炸的时代，数据的快速检索变得至关重要。无论是在电子商务网站、新闻门户还是企业内部文档，高效的搜索引擎都是确保用户满意度和工作效率的关键因素之一。而在搜索引擎领域，Manticore Search 作为一款开源的全文搜索引擎ÿ…...
AI 笔记助手，你的思路整理助手
大家好，今天给大家介绍一款非常实用的 AI 笔记助手——AI Note。这款助手就像是一个贴心的小助手，能帮助我们整理笔记，提高学习和工作效率。 🤖 AI Note 可以智能总结笔记内容，准确标记重点，让我们更快地获…...
EchoServer回显服务器简单测试
目录 工具介绍 工具使用 测试结果 工具介绍 github的一个开源项目,是一个测压工具 EZLippi/WebBench: Webbench是Radim Kolar在1997年写的一个在linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的…...
车灯修复UV胶的优缺点有哪些?
车灯修复UV胶的优点如下： 优点： 快速固化：通过紫外光照射，UV胶可以在5-15秒内迅速固化，提高了修复效率。高度透明：固化后透光率高，几乎与原始车灯材料无法区分，修复后车灯外观更加…...
探讨倒排索引Elasticsearch面试与实战：从理论到实践
在当前大数据时代，Elasticsearch（以下简称为ES）作为一种强大的搜索和分析引擎，受到了越来越多企业的青睐。因此，对于工程师来说，掌握ES的面试准备和实战经验成为了必备技能之一。本文将从ES的面试准备和实际…...
网安入门18-XSS（靶场实战）
HTML实体化编码 为了避免 XSS 攻击，会将<>编码为<与>，这些就是 HTML 实体编码。 编码前编码后不可分的空格 < (小于符号)< > (大于符号)> & (与符号)&″ (双引号)"’ (单引号)'© (版权符…...
爬虫的一些小技巧总结
一、在爬虫中，爬取的数据类型如下 1.document:返回的是一个HTML文档 2.png:无损的图片，jpg:压缩后的图片,wbep:有损压缩，比png差，比jpg好 3.avgxml图像编码字符串 4.script:脚本文件，依据一定格式编写的可执行的文…...
LeetCode---386周赛
题目列表 3046. 分割数组 3047. 求交集区域内的最大正方形面积 3048. 标记所有下标的最早秒数 I 3049. 标记所有下标的最早秒数 II 一、分割数组 这题简单的思维题，要想将数组分为两个数组，且分出的两个数组中数字不会重复，很显然一个数…...
React之数据绑定以及表单处理
一、表单元素 像<input>、<textarea>、<option>这样的表单元素不同于其他元素，因为他们可以通过用户交互发生变化。这些元素提供的界面使响应用户交互的表单数据处理更加容易 交互属性，用户对一下元素交互时通过onChange回调函数来监听…...
Siamrpn++论文中文翻译（详细！）
SiamRPN: Evolution of Siamese Visual Tracking with Very Deep Networks SiamRPN：具有非常深度网络的Siamese视觉跟踪的进化 【siamrpn论文地址】 https://arxiv.org/abs/1812.11703 摘要 基于Siamese网络的跟踪器将跟踪表示为目标模板和搜索区域之间的卷积特征…...
Unity自动寻路实战：用NavMeshAgent实现动态路径绘制（附完整Shader代码）
Unity动态路径可视化：用NavMeshAgent与Shader打造流动导航线 在角色扮演类游戏开发中，路径可视化不仅是功能需求，更是提升玩家体验的关键设计。当角色在复杂场景中自动寻路时，一条会"呼吸"的流动路径线，远比…...
DL/T 645与DL/T 698协议优劣对比与使用方法，一文看懂两者区别和使用方法！
目录 引言 一、协议背景与设计哲学 1.1 DL/T 645协议：面向过程的“点对点”设计 1.2 DL/T 698协议：面向对象的“系统级”设计 二、协议架构与技术特性对比 2.1 帧结构与数据表示 2.2 数据模型与扩展性 2.3 通信方式与物理层支持 三、安全机制对…...
如何理解 WeakSet 不可遍历且没有 size 属性的设计原因
WeakSet 不提供 size 和遍历能力，因其设计目标是“弱存在性登记册”，仅通过 has() 判断对象是否尚未被 GC 回收；size 不稳定、遍历会引发强引用，故规范禁止 clear、迭代器等操作，且只接受对象类型。WeakSet 为什么连 s…...
工业自动化场景下耐达讯自动化的 CC-Link IE 转 Modbus TCP 技术方案与应用实践
在工业自动化行业中，设备间协议异构性是系统集成面临的核心挑战之一。尤其在产线升级、老旧设备接入或跨品牌系统融合过程中，如何高效、稳定地实现不同通信协议之间的转换，直接关系到数据采集的完整性、控制系统的实时性以及整体项目的实施成…...
Claude频发Bug，AI安全引担忧
近日，Claude被爆出存在严重Bug，分不清用户与系统发言，甚至将恶意指令当合法请求。此问题在Hacker News引发热议，也暴露出大模型的安全隐患。Claude现身份识别障碍Claude 3.5和Claude 4系列在处理复杂或恶意上下文时，出…...
AI理论能力或吞噬美国就业市场？真相并非如此
AI理论上能完成超80%工作任务，就业市场要变天？本月，Anthropic发布的关于人工智能对劳动力市场影响的报告中一张图表广为流传。它对比了22个职业类别中，当前职业对大语言模型（LLM）的“实际接触程度”和这些L…...
SenseBoxBLE库详解：phyphox协议下的Arduino BLE透传实践
1. SenseBoxBLE 库深度解析：面向嵌入式工程师的 BLE 数据透传实践指南1.1 库定位与工程价值SenseBoxBLE 是一个专为 senseBox 生态设计的轻量级 Arduino 兼容 BLE 通信库，其核心目标并非构建通用 BLE 协议栈，而是实现传感器数据到 phyphox 移…...
CMake变量实战：从基础引用到高级构建控制
1. CMake变量基础：从入门到精通 CMake变量是构建系统的核心元素，就像编程语言中的变量一样，它们可以存储和传递各种信息。我第一次接触CMake变量时，完全被各种前缀和命名规则搞晕了，直到踩过几次坑后才真正理解它们的运…...
wso~.升级到.需要更新的数据表戳
1. 架构背景与演进动力 1.1 从单体到碎片化：.NET 的开源征程 在.NET Framework 时代，构建系统主要围绕 Windows 操作系统紧密集成，采用传统的封闭式开发模式。然而，随着.NET Core 的推出，微软开启了彻底的开源与跨平台…...
Laravel Redis 缓存多存储隔离与精准清理方案
Laravel 中若为多个缓存 store 配置相同 Redis 连接，调用 cache:clear 或 store()->clear() 会清空整个 Redis 数据库，无法实现按 store 精准清理；正确做法是统一使用单个 Redis store，并借助缓存标签（Cache Tags&a…...