记录一次架构优化处理性能从3千-＞3万
0.背景
优化Kafka消费入Es，适配600台设备上报数据，吞吐量到达2万每秒
1.环境配置
2.压测工具
3.未优化之前的消费逻辑
4.优化之后的消费流程
5.多线程多ESclient
6.修改ES配置，增加kafka分区，增加线程，提升吞吐量
7.索引分桶提升吞吐量
相关文章：
记录一次架构优化处理性能从3千-＞3万
0.背景 优化Kafka消费入Es，适配600台设备上报数据，吞吐量到达2万每秒 1.环境配置 2.压测工具 3.未优化之前的消费逻辑 4.优化之后的消费流程 5.多线程多ESclient 6.修改ES配置，增加kafka分区，增加线程，提升吞吐量 7.…...
c++二进制位运算使用方法
文章主要内容： C 中的位运算符主要用于对整数类型的数据进行位操作，包括按位与（&）、按位或（|）、按位异或（^）、取反（~）、左移（<<&#…...
TypeScript之JSON点语法调用
场景 当我们想要通过将JSON中的属性名赋值给一个变量,并且通过点语法实现字段调用.常规的String变量保存会出现下述问题,就可以通过String[][]实现动态调用字段. let parentJSON{"name":"liupeng"}let a:String;Object.keys(parentJSON).forEach(key >…...
手撕Java集合之简易版Deque(LinkedList)
在目前，许多互联网公司的面试已经要求能手撕集合源码，集合源码本身算是源码里比较简单的一部分，但是要在面试极短的10来分钟内快速写出一个简易版的源码还是比较麻烦的，很容易出现各种小问题。所以在平时就要注重这方面的联系。 以…...
MySQL知识点归纳总结（二）
10、MVCC实现原理？ 事务ID（Transaction ID）：每个事务在执行时都会被分配一个唯一的事务ID，用于标识该事务的开始时间顺序。事务ID是一个递增的整数，随着每个新事务的开始而递增。 Undo日志（Un…...
vue：实现顶部消息横向滚动通知
前言 系统顶部展示一个横向滚动的消息通知，就是消息内容从右往左一直滚动。 效果如下： 代码 使用 <template><div class"notic-bar"><img :src"notic" class"notice-img" /><div class"noti…...
[笔记] wsl 禁用配置 win系统环境变量+代理
wsl 配置禁用 win系统环境变量 进入 wsl 的 /etc/wsl.conf 目录，增加以下配置： [interop] enabledfalse appendWindowsPathfalse然后退出wsl，并且执行关闭正在运行的 wsl，执行命令 wsl --shutdown 最后重新进入wsl 即可。 参考…...
Mysql标量子查询
目录 子查询标量子查询数据准备 子查询 SQL语句中嵌套select语句，称为嵌套查询，又称子查询。 SELECT * FROM t1 WHERE column1 ( SELECT column1 FROM t2 ... );子查询外部的语句可以是insert / update / delete / select 的任何一个&…...
深入了解Java虚拟机（JVM）
Java虚拟机（JVM）是Java程序运行的核心组件，它负责解释执行Java字节码，并在各种平台上执行。JVM的设计使得Java具有跨平台性，开发人员只需编写一次代码，就可以在任何支持Java的系统上运行。我们刚开始学习Ja…...
Image Fusion via Vision-Language Model【文献阅读】
阅读目录 文献阅读AbstractIntroduction3. Method3.1. Problem Overview3.2. Fusion via Vision-Language Model 4. Vision-Language Fusion Datasets5. Experiment5.1Infrared and Visible Image Fusion 6. Conclusion个人总结 文献阅读 原文下载：https://arxiv.or…...
探索Manticore Search：开源全文搜索引擎的强大功能
在当今信息爆炸的时代，数据的快速检索变得至关重要。无论是在电子商务网站、新闻门户还是企业内部文档，高效的搜索引擎都是确保用户满意度和工作效率的关键因素之一。而在搜索引擎领域，Manticore Search 作为一款开源的全文搜索引擎ÿ…...
AI 笔记助手，你的思路整理助手
大家好，今天给大家介绍一款非常实用的 AI 笔记助手——AI Note。这款助手就像是一个贴心的小助手，能帮助我们整理笔记，提高学习和工作效率。 🤖 AI Note 可以智能总结笔记内容，准确标记重点，让我们更快地获…...
EchoServer回显服务器简单测试
目录 工具介绍 工具使用 测试结果 工具介绍 github的一个开源项目,是一个测压工具 EZLippi/WebBench: Webbench是Radim Kolar在1997年写的一个在linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的…...
车灯修复UV胶的优缺点有哪些?
车灯修复UV胶的优点如下： 优点： 快速固化：通过紫外光照射，UV胶可以在5-15秒内迅速固化，提高了修复效率。高度透明：固化后透光率高，几乎与原始车灯材料无法区分，修复后车灯外观更加…...
探讨倒排索引Elasticsearch面试与实战：从理论到实践
在当前大数据时代，Elasticsearch（以下简称为ES）作为一种强大的搜索和分析引擎，受到了越来越多企业的青睐。因此，对于工程师来说，掌握ES的面试准备和实战经验成为了必备技能之一。本文将从ES的面试准备和实际…...
网安入门18-XSS（靶场实战）
HTML实体化编码 为了避免 XSS 攻击，会将<>编码为<与>，这些就是 HTML 实体编码。 编码前编码后不可分的空格 < (小于符号)< > (大于符号)> & (与符号)&″ (双引号)"’ (单引号)'© (版权符…...
爬虫的一些小技巧总结
一、在爬虫中，爬取的数据类型如下 1.document:返回的是一个HTML文档 2.png:无损的图片，jpg:压缩后的图片,wbep:有损压缩，比png差，比jpg好 3.avgxml图像编码字符串 4.script:脚本文件，依据一定格式编写的可执行的文…...
LeetCode---386周赛
题目列表 3046. 分割数组 3047. 求交集区域内的最大正方形面积 3048. 标记所有下标的最早秒数 I 3049. 标记所有下标的最早秒数 II 一、分割数组 这题简单的思维题，要想将数组分为两个数组，且分出的两个数组中数字不会重复，很显然一个数…...
React之数据绑定以及表单处理
一、表单元素 像<input>、<textarea>、<option>这样的表单元素不同于其他元素，因为他们可以通过用户交互发生变化。这些元素提供的界面使响应用户交互的表单数据处理更加容易 交互属性，用户对一下元素交互时通过onChange回调函数来监听…...
Siamrpn++论文中文翻译（详细！）
SiamRPN: Evolution of Siamese Visual Tracking with Very Deep Networks SiamRPN：具有非常深度网络的Siamese视觉跟踪的进化 【siamrpn论文地址】 https://arxiv.org/abs/1812.11703 摘要 基于Siamese网络的跟踪器将跟踪表示为目标模板和搜索区域之间的卷积特征…...
【Axure高保真原型】引导弹窗
今天和大家中分享引导弹窗的原型模板，载入页面后，会显示引导弹窗，适用于引导用户使用页面，点击完成后，会显示下一个引导弹窗，直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…...
Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具
文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染 准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据 准备一个容器,例如: …...
spring：实例工厂方法获取bean
spring处理使用静态工厂方法获取bean实例，也可以通过实例工厂方法获取bean实例。 实例工厂方法步骤如下： 定义实例工厂类（Java代码），定义实例工厂（xml），定义调用实例工厂ÿ…...
Spring AI 入门：Java 开发者的生成式 AI 实践之路
一、Spring AI 简介 在人工智能技术快速迭代的今天，Spring AI 作为 Spring 生态系统的新生力量，正在成为 Java 开发者拥抱生成式 AI 的最佳选择。该框架通过模块化设计实现了与主流 AI 服务（如 OpenAI、Anthropic）的无缝对接&…...
vue3+vite项目中使用.env文件环境变量方法
vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量，这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...
算法岗面试经验分享-大模型篇
文章目录 A 基础语言模型A.1 TransformerA.2 Bert B 大语言模型结构B.1 GPTB.2 LLamaB.3 ChatGLMB.4 Qwen C 大语言模型微调C.1 Fine-tuningC.2 Adapter-tuningC.3 Prefix-tuningC.4 P-tuningC.5 LoRA A 基础语言模型 A.1 Transformer （1）资源 论文&a…...
【JavaSE】多线程基础学习笔记
多线程基础 -线程相关概念 程序（Program） 是为完成特定任务、用某种语言编写的一组指令的集合简单的说:就是我们写的代码 进程 进程是指运行中的程序，比如我们使用QQ，就启动了一个进程，操作系统就会为该进程分配内存…...
ubuntu22.04 安装docker 和docker-compose
首先你要确保没有docker环境或者使用命令删掉docker sudo apt-get remove docker docker-engine docker.io containerd runc安装docker 更新软件环境 sudo apt update sudo apt upgrade下载docker依赖和GPG 密钥 # 依赖 apt-get install ca-certificates curl gnupg lsb-rel…...
C++_哈希表
本篇文章是对C学习的哈希表部分的学习分享 相信一定会对你有所帮助~ 那咱们废话不多说，直接开始吧！ 一、基础概念 1. 哈希核心思想： 哈希函数的作用：通过此函数建立一个Key与存储位置之间的映射关系。理想目标：实现…...