linux中缓存，在kafka上应用总结
linux中的缓存 页缓存 pagecatch（读缓存用于提供快速读）块缓存（用于提供其他设备快速写）当对读缓存读的时候，修改了读的数据，页缓存就会被标记为脏数据，等到写的时候它会向块缓存同步数据，并写入到磁盘中
零拷贝：如上kafka读取文件会由操作系统读到页缓存，在读到kafaka的输入缓存，在同步到输出缓存用于写入其他设备，数据写操作会调用系统的块缓存写入，然后再把块缓存数据写到网卡中，这个过程比较耗时，从系统到kafka应用完成多次数据转译，称为多次拷贝，这个过程线程会跨用户态和核心态的代码存在切换额外保存数据的额外消耗。特权指令和非特权指令要求cpu切换状态，内核态和用户态的指令不能跨状体工作 ，切换效率低而且这是一次操作数据量大的时候性能就越低。
kafka使用nio的channel加上buffer的transfrom_to函数实现数据0拷贝，直接将内存数据发送给kafka的消费者。
kafka的应答策略
kafka生产者保证数据发送的安全性，会对消息记录收集校验序列化，放入buff缓存，加快额外的其他数据处理，这些生产的数据会大量的涌入缓存，消息发送器sender，会处理这些数据时无法控制顺序，需要有一个排队机制，sender通过双端队列的方式完成数据的取和网络发送，批发送处理数据最大16k到双端队列中，线程sender负责消费队列的数据，为了保证数据的顺序不丢失发送器引入了在途请求控制器inFilghtRequest默认值为5，是用来网络客户端和网络服务器端的数据请求安全通信的，在途请求不能设置过大，会影响性能，默认值为5，它用来服务端处理数据超时或数据没有被持久化，客户端接收到消息，并控制在在途请求的这个阶段的数据一直保持重试排序，拉取下一批次的偏移量的消息，直到前面的在途请求被有序处理和应答新一轮的批次请求又开始进行，
在途请求的消息会找到存放通道的map，找到符合当前生产者的通道，channel使用java的nio在发送的时候利用nio多路复用器和buffer的零拷贝机制，减少资源消耗，socketChannel将数据发送到网络。
消费者组件
相关文章：
linux中缓存，在kafka上应用总结
linux中的缓存 页缓存 pagecatch（读缓存用于提供快速读）块缓存（用于提供其他设备快速写）当对读缓存读的时候，修改了读的数据，页缓存就会被标记为脏数据，等到写的时候它会向块缓存同步数据&…...
前端练习小项目 —— 让图片变得更 “色”
前言：相信读者在学习完了HTML、CSS和JavaScript之后已经想要迫不及待的想找一个小型的项目来练练手，那么这篇文章就正好能满足你的 “需求”。 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主页秋刀鱼不做梦-CSDN博客 在开始学习…...
时间卷积网络（TCN）原理+代码详解
目录 一、TCN原理1.1 因果卷积（Causal Convolution）1.2 扩张卷积（Dilated Convolution） 二、代码实现2.1 Chomp1d 模块2.2 TemporalBlock 模块2.3 TemporalConvNet 模块2.4 完整代码示例 参考文献 在理解 TCN 的原理之前ÿ…...
零散的知识
1.物化 在SQL中，物化（Materialization）是指将查询结果保存为物理数据结构以供后续使用的过程。这与普通的视图或查询不同，物化视图会存储查询的结果，而不是每次查询时都动态地重新计算数据。 ①物化视图 物化视图是一…...
Python读取pdf中的文字与表格
一、PyPDF2包安装 在Python中安装PyPDF2库，您可以使用pip包管理器。打开您的命令行工具（例如CMD、Terminal或Anaconda Prompt），然后输入以下命令： pip install PyPDF2 如果您使用的是Python 3，并且系统中…...
【MySQL 08】复合查询
目录 1.准备工作 2.多表查询 笛卡尔积 多表查询案例 3. 自连接 4.子查询 1.单行子查询 2.多行子查询 3.多列子查询 4.在from子句中使用子查询 5.合并查询 1.union 2.union all 1.准备工作 如下三个表，将作为示例，理解复合查询 EMP员工表…...
求1000以内的完数
题目：一个数如果恰好等于他的因子之和（包括1，但不包括这个数），这个数就是完数。编写算法找出1000之内的所有完数，并按下面格式输出其因子：28 its factors are 1,2,4,7,14 代码如下：…...
sqli-labs less-16 post提交dnslog注入
post提交DNSlog注入 第十六关和和十五关大差不大，可以使用布尔注入，时间盲注等，只不过闭合方式不一样，但是用布尔和时间盲太过于消耗时间，本次测试我将使用dnslog注入。 使用在线平台http://www.dnslog.cn/ 闭合方式…...
nginx报错|xquic|xqc_engine_create: fail|
一.问题描述 nginx使用xquic协议一切安装正常,nginx -s reload也正常，但就是访问不了网页 [emerg] 12342#0: |xquic|xqc_engine_create: fail| [emerg] 12342#0: |xquic|ngx_xquic_process_init|engine_init fail| [emerg] 12341#0: |xquic|xqc_engine_create: fai…...
Java虚拟机(JVM)
目录 内存区域划分堆（Heap）方法区（Method Area）程序计数器（Program Counter Register）虚拟机栈（VM Stack）本地方法栈（Native Method Stack） 类加载的过程类加…...
MQ 架构设计原理与消息中间件详解（三）
RabbitMQ实战解决方案 RabbitMQ死信队列 死信队列产生的背景 RabbitMQ死信队列俗称，备胎队列；消息中间件因为某种原因拒收该消息后，可以转移到死信队列中存放，死信队列也可以有交换机和路由key等。 产生死信队列的原因 消息投…...
大数据新视界 --大数据大厂之 Alluxio 数据缓存系统在大数据中的应用与配置
💖💖💖亲爱的朋友们，热烈欢迎你们来到 青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…...
PHP基本语法总结
目录 输出语句 注释 数据类型（变量） 局部和全局作用域 类型比较（松散比较与严格比较） 常量 运算符 并置运算符 不等于 逻辑运算符 条件语句 数组 关联数组 数组排序 一般数组 关联数组 循环 函数 变量函数 魔…...
尚硅谷rabbitmq 2024第30-33节 死信队列 答疑
Virtual host: Type: Name: Durabiity: Arguments: Default for virtual host w ququt.normal.video Durable x-dead-letter-exchange x-dead-1etter-routing-xey x-mAx-1ength X-m在88点0也-6E1 exchange.dead.letter.vide zouting.key.dead.ietter.v 10 String String Number…...
解锁空间距离计算的多种方式-含前端、空间数据库、后端
目录 前言 一、空间数据库求解 1、PostGIS实现 二、GIS前端组件求解 1、Leaflet.js距离测算 2、Turf.js前端计算 三、后台距离计算生成 1、欧式距离 2、Haversice球面距离 3、GeoTools距离计算 4、Gdal距离生成 5、geodesy距离计算 四、成果与生成对比 1、Java不…...
Windows 开发工具使用技巧 QT使用安装和使用技巧 QT快捷键
一、QT配置 1. 安装 Qt 开发框架 1、下载 1、进入下载地址 下载地址1 (官方, 需注册账号)： https://www.qt.io/download下载地址2（推荐）： http://download.qt.io/http://download.qt.io/archive/qt/ （或更直接的…...
【实战教程】SpringBoot全面指南：快速上手到项目实战(SpringBoot)
文章目录 【实战教程】SpringBoot全面指南：快速上手到项目实战(SpringBoot)1. SpringBoot介绍1.1 SpringBoot简介1.2系统要求1.3 SpringBoot和SpringMVC区别1.4 SpringBoot和SpringCloud区别 2.快速入门3. Web开发3.1 静态资源访问3.2 渲染Web页面3.3 YML与Properti…...
LeetCode讲解篇之1043. 分隔数组以得到最大和
文章目录 题目描述题解思路题解代码题目链接 题目描述 题解思路 对于这题我们这么考虑，我们选择以数字的第i个元素做为分隔子数组的右边界，我们需要计算当前分隔子数组的长度为多少时能让数组[0, i]进行分隔数组的和最大 我们用数组f表示[0, i)区间内的…...
Python知识点：结合Python工具，如何使用TfidfVectorizer进行文本特征提取
开篇，先说一个好消息，截止到2025年1月1日前，翻到文末找到我，赠送定制版的开题报告和任务书，先到先得！过期不候！ 如何使用Python的TfidfVectorizer进行文本特征提取 在自然语言处理（…...
Diffusion models（扩散模型） 是怎么工作的
前言 给一个提示词, Midjourney, Stable Diffusion 和 DALL-E 可以生成很好看的图片，那么它们是怎么工作的呢？它们都用了 Diffusion models（扩散模型） 这项技术。 Diffusion models 正在成为生命科学等领域的一项尖端技术&…...
UE5 学习系列（二）用户操作界面及介绍
这篇博客是 UE5 学习系列博客的第二篇，在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下： 【Note】：如果你已经完成安装等操作，可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作，重…...
多模态2025：技术路线“神仙打架”，视频生成冲上云霄
文｜魏琳华 编｜王一粟 一场大会，聚集了中国多模态大模型的“半壁江山”。 智源大会2025为期两天的论坛中，汇集了学界、创业公司和大厂等三方的热门选手，关于多模态的集中讨论达到了前所未有的热度。其中，…...
java_网络服务相关_gateway_nacos_feign区别联系
1. spring-cloud-starter-gateway 作用：作为微服务架构的网关，统一入口，处理所有外部请求。 核心能力： 路由转发（基于路径、服务名等）过滤器（鉴权、限流、日志、Header 处理）支持负…...
基于FPGA的PID算法学习———实现PID比例控制算法
基于FPGA的PID算法学习 前言一、PID算法分析二、PID仿真分析1. PID代码2.PI代码3.P代码4.顶层5.测试文件6.仿真波形 总结 前言 学习内容：参考网站： PID算法控制 PID即：Proportional（比例）、Integral（积分&…...
django filter 统计数量 按属性去重
在Django中，如果你想要根据某个属性对查询集进行去重并统计数量，你可以使用values()方法配合annotate()方法来实现。这里有两种常见的方法来完成这个需求： 方法1：使用annotate()和Count 假设你有一个模型Item，并且你想…...
【开发技术】.Net使用FFmpeg视频特定帧上绘制内容
目录 一、目的 二、解决方案 2.1 什么是FFmpeg 2.2 FFmpeg主要功能 2.3 使用Xabe.FFmpeg调用FFmpeg功能 2.4 使用 FFmpeg 的 drawbox 滤镜来绘制 ROI 三、总结 一、目的 当前市场上有很多目标检测智能识别的相关算法，当前调用一个医疗行业的AI识别算法后返回…...
从“安全密码”到测试体系：Gitee Test 赋能关键领域软件质量保障
关键领域软件测试的"安全密码"：Gitee Test如何破解行业痛点 在数字化浪潮席卷全球的今天，软件系统已成为国家关键领域的"神经中枢"。从国防军工到能源电力，从金融交易到交通管控，这些关乎国计民生的关键领域…...
华为OD机试-最短木板长度-二分法(A卷,100分)
此题是一个最大化最小值的典型例题， 因为搜索范围是有界的，上界最大木板长度补充的全部木料长度，下界最小木板长度； 即left0,right10^6; 我们可以设置一个候选值x(mid)，将木板的长度全部都补充到x，如果成功…...
GraphQL 实战篇：Apollo Client 配置与缓存
GraphQL 实战篇：Apollo Client 配置与缓存 上一篇：GraphQL 入门篇：基础查询语法 依旧和上一篇的笔记一样，主实操，没啥过多的细节讲解，代码具体在： https://github.com/GoldenaArcher/graphql…...
从实验室到产业：IndexTTS 在六大核心场景的落地实践
一、内容创作：重构数字内容生产范式 在短视频创作领域，IndexTTS 的语音克隆技术彻底改变了配音流程。B 站 UP 主通过 5 秒参考音频即可克隆出郭老师音色，生成的 “各位吴彦祖们大家好” 语音相似度达 97%，单条视频播放量突破百万…...