记录一次架构优化处理性能从3千-＞3万
0.背景
优化Kafka消费入Es，适配600台设备上报数据，吞吐量到达2万每秒
1.环境配置
2.压测工具
3.未优化之前的消费逻辑
4.优化之后的消费流程
5.多线程多ESclient
6.修改ES配置，增加kafka分区，增加线程，提升吞吐量
7.索引分桶提升吞吐量
相关文章：
记录一次架构优化处理性能从3千-＞3万
0.背景 优化Kafka消费入Es，适配600台设备上报数据，吞吐量到达2万每秒 1.环境配置 2.压测工具 3.未优化之前的消费逻辑 4.优化之后的消费流程 5.多线程多ESclient 6.修改ES配置，增加kafka分区，增加线程，提升吞吐量 7.…...
c++二进制位运算使用方法
文章主要内容： C 中的位运算符主要用于对整数类型的数据进行位操作，包括按位与（&）、按位或（|）、按位异或（^）、取反（~）、左移（<<&#…...
TypeScript之JSON点语法调用
场景 当我们想要通过将JSON中的属性名赋值给一个变量,并且通过点语法实现字段调用.常规的String变量保存会出现下述问题,就可以通过String[][]实现动态调用字段. let parentJSON{"name":"liupeng"}let a:String;Object.keys(parentJSON).forEach(key >…...
手撕Java集合之简易版Deque(LinkedList)
在目前，许多互联网公司的面试已经要求能手撕集合源码，集合源码本身算是源码里比较简单的一部分，但是要在面试极短的10来分钟内快速写出一个简易版的源码还是比较麻烦的，很容易出现各种小问题。所以在平时就要注重这方面的联系。 以…...
MySQL知识点归纳总结（二）
10、MVCC实现原理？ 事务ID（Transaction ID）：每个事务在执行时都会被分配一个唯一的事务ID，用于标识该事务的开始时间顺序。事务ID是一个递增的整数，随着每个新事务的开始而递增。 Undo日志（Un…...
vue：实现顶部消息横向滚动通知
前言 系统顶部展示一个横向滚动的消息通知，就是消息内容从右往左一直滚动。 效果如下： 代码 使用 <template><div class"notic-bar"><img :src"notic" class"notice-img" /><div class"noti…...
[笔记] wsl 禁用配置 win系统环境变量+代理
wsl 配置禁用 win系统环境变量 进入 wsl 的 /etc/wsl.conf 目录，增加以下配置： [interop] enabledfalse appendWindowsPathfalse然后退出wsl，并且执行关闭正在运行的 wsl，执行命令 wsl --shutdown 最后重新进入wsl 即可。 参考…...
Mysql标量子查询
目录 子查询标量子查询数据准备 子查询 SQL语句中嵌套select语句，称为嵌套查询，又称子查询。 SELECT * FROM t1 WHERE column1 ( SELECT column1 FROM t2 ... );子查询外部的语句可以是insert / update / delete / select 的任何一个&…...
深入了解Java虚拟机（JVM）
Java虚拟机（JVM）是Java程序运行的核心组件，它负责解释执行Java字节码，并在各种平台上执行。JVM的设计使得Java具有跨平台性，开发人员只需编写一次代码，就可以在任何支持Java的系统上运行。我们刚开始学习Ja…...
Image Fusion via Vision-Language Model【文献阅读】
阅读目录 文献阅读AbstractIntroduction3. Method3.1. Problem Overview3.2. Fusion via Vision-Language Model 4. Vision-Language Fusion Datasets5. Experiment5.1Infrared and Visible Image Fusion 6. Conclusion个人总结 文献阅读 原文下载：https://arxiv.or…...
探索Manticore Search：开源全文搜索引擎的强大功能
在当今信息爆炸的时代，数据的快速检索变得至关重要。无论是在电子商务网站、新闻门户还是企业内部文档，高效的搜索引擎都是确保用户满意度和工作效率的关键因素之一。而在搜索引擎领域，Manticore Search 作为一款开源的全文搜索引擎ÿ…...
AI 笔记助手，你的思路整理助手
大家好，今天给大家介绍一款非常实用的 AI 笔记助手——AI Note。这款助手就像是一个贴心的小助手，能帮助我们整理笔记，提高学习和工作效率。 🤖 AI Note 可以智能总结笔记内容，准确标记重点，让我们更快地获…...
EchoServer回显服务器简单测试
目录 工具介绍 工具使用 测试结果 工具介绍 github的一个开源项目,是一个测压工具 EZLippi/WebBench: Webbench是Radim Kolar在1997年写的一个在linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的…...
车灯修复UV胶的优缺点有哪些?
车灯修复UV胶的优点如下： 优点： 快速固化：通过紫外光照射，UV胶可以在5-15秒内迅速固化，提高了修复效率。高度透明：固化后透光率高，几乎与原始车灯材料无法区分，修复后车灯外观更加…...
探讨倒排索引Elasticsearch面试与实战：从理论到实践
在当前大数据时代，Elasticsearch（以下简称为ES）作为一种强大的搜索和分析引擎，受到了越来越多企业的青睐。因此，对于工程师来说，掌握ES的面试准备和实战经验成为了必备技能之一。本文将从ES的面试准备和实际…...
网安入门18-XSS（靶场实战）
HTML实体化编码 为了避免 XSS 攻击，会将<>编码为<与>，这些就是 HTML 实体编码。 编码前编码后不可分的空格 < (小于符号)< > (大于符号)> & (与符号)&″ (双引号)"’ (单引号)'© (版权符…...
爬虫的一些小技巧总结
一、在爬虫中，爬取的数据类型如下 1.document:返回的是一个HTML文档 2.png:无损的图片，jpg:压缩后的图片,wbep:有损压缩，比png差，比jpg好 3.avgxml图像编码字符串 4.script:脚本文件，依据一定格式编写的可执行的文…...
LeetCode---386周赛
题目列表 3046. 分割数组 3047. 求交集区域内的最大正方形面积 3048. 标记所有下标的最早秒数 I 3049. 标记所有下标的最早秒数 II 一、分割数组 这题简单的思维题，要想将数组分为两个数组，且分出的两个数组中数字不会重复，很显然一个数…...
React之数据绑定以及表单处理
一、表单元素 像<input>、<textarea>、<option>这样的表单元素不同于其他元素，因为他们可以通过用户交互发生变化。这些元素提供的界面使响应用户交互的表单数据处理更加容易 交互属性，用户对一下元素交互时通过onChange回调函数来监听…...
Siamrpn++论文中文翻译（详细！）
SiamRPN: Evolution of Siamese Visual Tracking with Very Deep Networks SiamRPN：具有非常深度网络的Siamese视觉跟踪的进化 【siamrpn论文地址】 https://arxiv.org/abs/1812.11703 摘要 基于Siamese网络的跟踪器将跟踪表示为目标模板和搜索区域之间的卷积特征…...
深度学习在微纳光子学中的应用
深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向： 逆向设计 通过神经网络快速预测微纳结构的光学响应，替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…...
` 方法)
深入浅出：JavaScript 中的 `window.crypto.getRandomValues()` 方法
深入浅出：JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中，随机数的生成看似简单，却隐藏着许多玄机。无论是生成密码、加密密钥，还是创建安全令牌，随机数的质量直接关系到系统的安全性。Jav…...
数据链路层的主要功能是什么
数据链路层（OSI模型第2层）的核心功能是在相邻网络节点（如交换机、主机）间提供可靠的数据帧传输服务，主要职责包括： 🔑 核心功能详解： 帧封装与解封装 封装： 将网络层下发…...
ElasticSearch搜索引擎之倒排索引及其底层算法
文章目录 一、搜索引擎1、什么是搜索引擎？2、搜索引擎的分类3、常用的搜索引擎4、搜索引擎的特点二、倒排索引1、简介2、为什么倒排索引不用B+树1.创建时间长，文件大。2.其次，树深，IO次数可怕。3.索引可能会失效。4.精准度差。三. 倒排索引四、算法1、Term Index的算法2、 …...
Spring AI 入门：Java 开发者的生成式 AI 实践之路
一、Spring AI 简介 在人工智能技术快速迭代的今天，Spring AI 作为 Spring 生态系统的新生力量，正在成为 Java 开发者拥抱生成式 AI 的最佳选择。该框架通过模块化设计实现了与主流 AI 服务（如 OpenAI、Anthropic）的无缝对接&…...
让AI看见世界：MCP协议与服务器的工作原理
让AI看见世界：MCP协议与服务器的工作原理 MCP（Model Context Protocol）是一种创新的通信协议，旨在让大型语言模型能够安全、高效地与外部资源进行交互。在AI技术快速发展的今天，MCP正成为连接AI与现实世界的重要桥梁。…...
智能分布式爬虫的数据处理流水线优化：基于深度强化学习的数据质量控制
在数字化浪潮席卷全球的今天，数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具，在大规模数据获取中发挥着关键作用。然而，传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时，常出现数据质…...
处理vxe-table 表尾数据是单独一个接口，表格tableData数据更新后，需要点击两下，表尾才是正确的
修改bug思路： 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑：async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...
深入浅出深度学习基础：从感知机到全连接神经网络的核心原理与应用
文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么？1.1.2 感知机的工作原理 1.2 感知机的简单应用：基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...
华为OD机考-机房布局
import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...