linux中缓存，在kafka上应用总结
linux中的缓存 页缓存 pagecatch（读缓存用于提供快速读）块缓存（用于提供其他设备快速写）当对读缓存读的时候，修改了读的数据，页缓存就会被标记为脏数据，等到写的时候它会向块缓存同步数据，并写入到磁盘中
零拷贝：如上kafka读取文件会由操作系统读到页缓存，在读到kafaka的输入缓存，在同步到输出缓存用于写入其他设备，数据写操作会调用系统的块缓存写入，然后再把块缓存数据写到网卡中，这个过程比较耗时，从系统到kafka应用完成多次数据转译，称为多次拷贝，这个过程线程会跨用户态和核心态的代码存在切换额外保存数据的额外消耗。特权指令和非特权指令要求cpu切换状态，内核态和用户态的指令不能跨状体工作 ，切换效率低而且这是一次操作数据量大的时候性能就越低。
kafka使用nio的channel加上buffer的transfrom_to函数实现数据0拷贝，直接将内存数据发送给kafka的消费者。
kafka的应答策略
kafka生产者保证数据发送的安全性，会对消息记录收集校验序列化，放入buff缓存，加快额外的其他数据处理，这些生产的数据会大量的涌入缓存，消息发送器sender，会处理这些数据时无法控制顺序，需要有一个排队机制，sender通过双端队列的方式完成数据的取和网络发送，批发送处理数据最大16k到双端队列中，线程sender负责消费队列的数据，为了保证数据的顺序不丢失发送器引入了在途请求控制器inFilghtRequest默认值为5，是用来网络客户端和网络服务器端的数据请求安全通信的，在途请求不能设置过大，会影响性能，默认值为5，它用来服务端处理数据超时或数据没有被持久化，客户端接收到消息，并控制在在途请求的这个阶段的数据一直保持重试排序，拉取下一批次的偏移量的消息，直到前面的在途请求被有序处理和应答新一轮的批次请求又开始进行，
在途请求的消息会找到存放通道的map，找到符合当前生产者的通道，channel使用java的nio在发送的时候利用nio多路复用器和buffer的零拷贝机制，减少资源消耗，socketChannel将数据发送到网络。
消费者组件
相关文章：
linux中缓存，在kafka上应用总结
linux中的缓存 页缓存 pagecatch（读缓存用于提供快速读）块缓存（用于提供其他设备快速写）当对读缓存读的时候，修改了读的数据，页缓存就会被标记为脏数据，等到写的时候它会向块缓存同步数据&…...
前端练习小项目 —— 让图片变得更 “色”
前言：相信读者在学习完了HTML、CSS和JavaScript之后已经想要迫不及待的想找一个小型的项目来练练手，那么这篇文章就正好能满足你的 “需求”。 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主页秋刀鱼不做梦-CSDN博客 在开始学习…...
时间卷积网络（TCN）原理+代码详解
目录 一、TCN原理1.1 因果卷积（Causal Convolution）1.2 扩张卷积（Dilated Convolution） 二、代码实现2.1 Chomp1d 模块2.2 TemporalBlock 模块2.3 TemporalConvNet 模块2.4 完整代码示例 参考文献 在理解 TCN 的原理之前ÿ…...
零散的知识
1.物化 在SQL中，物化（Materialization）是指将查询结果保存为物理数据结构以供后续使用的过程。这与普通的视图或查询不同，物化视图会存储查询的结果，而不是每次查询时都动态地重新计算数据。 ①物化视图 物化视图是一…...
Python读取pdf中的文字与表格
一、PyPDF2包安装 在Python中安装PyPDF2库，您可以使用pip包管理器。打开您的命令行工具（例如CMD、Terminal或Anaconda Prompt），然后输入以下命令： pip install PyPDF2 如果您使用的是Python 3，并且系统中…...
【MySQL 08】复合查询
目录 1.准备工作 2.多表查询 笛卡尔积 多表查询案例 3. 自连接 4.子查询 1.单行子查询 2.多行子查询 3.多列子查询 4.在from子句中使用子查询 5.合并查询 1.union 2.union all 1.准备工作 如下三个表，将作为示例，理解复合查询 EMP员工表…...
求1000以内的完数
题目：一个数如果恰好等于他的因子之和（包括1，但不包括这个数），这个数就是完数。编写算法找出1000之内的所有完数，并按下面格式输出其因子：28 its factors are 1,2,4,7,14 代码如下：…...
sqli-labs less-16 post提交dnslog注入
post提交DNSlog注入 第十六关和和十五关大差不大，可以使用布尔注入，时间盲注等，只不过闭合方式不一样，但是用布尔和时间盲太过于消耗时间，本次测试我将使用dnslog注入。 使用在线平台http://www.dnslog.cn/ 闭合方式…...
nginx报错|xquic|xqc_engine_create: fail|
一.问题描述 nginx使用xquic协议一切安装正常,nginx -s reload也正常，但就是访问不了网页 [emerg] 12342#0: |xquic|xqc_engine_create: fail| [emerg] 12342#0: |xquic|ngx_xquic_process_init|engine_init fail| [emerg] 12341#0: |xquic|xqc_engine_create: fai…...
Java虚拟机(JVM)
目录 内存区域划分堆（Heap）方法区（Method Area）程序计数器（Program Counter Register）虚拟机栈（VM Stack）本地方法栈（Native Method Stack） 类加载的过程类加…...
MQ 架构设计原理与消息中间件详解（三）
RabbitMQ实战解决方案 RabbitMQ死信队列 死信队列产生的背景 RabbitMQ死信队列俗称，备胎队列；消息中间件因为某种原因拒收该消息后，可以转移到死信队列中存放，死信队列也可以有交换机和路由key等。 产生死信队列的原因 消息投…...
大数据新视界 --大数据大厂之 Alluxio 数据缓存系统在大数据中的应用与配置
💖💖💖亲爱的朋友们，热烈欢迎你们来到 青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…...
PHP基本语法总结
目录 输出语句 注释 数据类型（变量） 局部和全局作用域 类型比较（松散比较与严格比较） 常量 运算符 并置运算符 不等于 逻辑运算符 条件语句 数组 关联数组 数组排序 一般数组 关联数组 循环 函数 变量函数 魔…...
尚硅谷rabbitmq 2024第30-33节 死信队列 答疑
Virtual host: Type: Name: Durabiity: Arguments: Default for virtual host w ququt.normal.video Durable x-dead-letter-exchange x-dead-1etter-routing-xey x-mAx-1ength X-m在88点0也-6E1 exchange.dead.letter.vide zouting.key.dead.ietter.v 10 String String Number…...
解锁空间距离计算的多种方式-含前端、空间数据库、后端
目录 前言 一、空间数据库求解 1、PostGIS实现 二、GIS前端组件求解 1、Leaflet.js距离测算 2、Turf.js前端计算 三、后台距离计算生成 1、欧式距离 2、Haversice球面距离 3、GeoTools距离计算 4、Gdal距离生成 5、geodesy距离计算 四、成果与生成对比 1、Java不…...
Windows 开发工具使用技巧 QT使用安装和使用技巧 QT快捷键
一、QT配置 1. 安装 Qt 开发框架 1、下载 1、进入下载地址 下载地址1 (官方, 需注册账号)： https://www.qt.io/download下载地址2（推荐）： http://download.qt.io/http://download.qt.io/archive/qt/ （或更直接的…...
【实战教程】SpringBoot全面指南：快速上手到项目实战(SpringBoot)
文章目录 【实战教程】SpringBoot全面指南：快速上手到项目实战(SpringBoot)1. SpringBoot介绍1.1 SpringBoot简介1.2系统要求1.3 SpringBoot和SpringMVC区别1.4 SpringBoot和SpringCloud区别 2.快速入门3. Web开发3.1 静态资源访问3.2 渲染Web页面3.3 YML与Properti…...
LeetCode讲解篇之1043. 分隔数组以得到最大和
文章目录 题目描述题解思路题解代码题目链接 题目描述 题解思路 对于这题我们这么考虑，我们选择以数字的第i个元素做为分隔子数组的右边界，我们需要计算当前分隔子数组的长度为多少时能让数组[0, i]进行分隔数组的和最大 我们用数组f表示[0, i)区间内的…...
Python知识点：结合Python工具，如何使用TfidfVectorizer进行文本特征提取
开篇，先说一个好消息，截止到2025年1月1日前，翻到文末找到我，赠送定制版的开题报告和任务书，先到先得！过期不候！ 如何使用Python的TfidfVectorizer进行文本特征提取 在自然语言处理（…...
Diffusion models（扩散模型） 是怎么工作的
前言 给一个提示词, Midjourney, Stable Diffusion 和 DALL-E 可以生成很好看的图片，那么它们是怎么工作的呢？它们都用了 Diffusion models（扩散模型） 这项技术。 Diffusion models 正在成为生命科学等领域的一项尖端技术&…...
查找回收站里隐藏的文件
在Windows里，每个磁盘分区都有一个隐藏的回收站Recycle， 回收站里保存着用户删除的文件、图片、视频等数据，比如，C盘的回收站为C:\RECYCLE.BIN\，D盘的的回收站为D:\RECYCLE.BIN\，E盘的的回收站为E:\RECYCLE…...
[运维]2.elasticsearch-svc连接问题
Serverless 与容器决战在即？有了弹性伸缩就不一样了 - 阿里云云原生 - 博客园 当我部署好elasticsearch的服务后，由于个人习惯，一般服务会在name里带上svc，所以我elasticsearch服务的名字是elasticsearch-svc： [root…...
Ajax面试题：（第一天）
目录 1.说一下网络模型 2.在浏览器地址栏键入URL，按下回车之后会经历以下流程： 3.什么是三次握手和四次挥手？ 4.http协议和https协议的区别 1.说一下网络模型 注：各层含义按自己理解即可 2.在浏览器地址栏键入URL，…...
数据仓库拉链表
数仓拉链表是数据仓库中常用的一种数据结构，用于记录维度表中某个属性的历史变化情况。在实际应用中，数仓拉链表可以帮助企业更好地进行数据分析和决策。 数仓拉链表（Slowly Changing Dimension, SCD）是一种用于处理维表中数据变化…...
【JVM】实战篇
1、内存调优 1.1 内存溢出和内存泄漏 内存泄漏（memory leak）：在Java中如果不再使用一个对象，但是该对象依然在GC ROOT的引用链上，这个对象就不会被垃圾回收器回收，这种情况就称之为内存泄漏。 内存泄漏绝…...
2024年9月30日--10月6日（ue5肉鸽结束）
按照月计划，本周把ue肉鸽游戏完成，然后进行ue5太阳系 ， 剩余14节，218分钟，如果按照10分钟的视频教程1小时进行完的话，则需要22小时，分布在10月2日-10月6日之间，每天44分钟的视频教程…...
【Python游戏开发】贪吃蛇游戏demo
准备步骤 项目开发使用【Mu 编辑器】 1.新建项目，并导入游戏图片 游戏编写 1.创建场景 SIZE 15 # 每个格子的大小 WIDTH SIZE * 30 # 游戏场景总宽度 HEIGHT SIZE * 30 # 游戏场景总高度def draw():screen…...
pytorch张量基础
引言张量的基础知识 张量的概念张量的属性张量的创建张量的操作 基本运算索引和切片形状变换自动微分 基本概念停止梯度传播张量的设备管理 检查和移动张量CUDA 张量高级操作 张量的视图广播机制分块和拼接张量的复制内存优化和管理 稀疏张量内存释放应用实例 线性回归神经网络…...
深入解析LlamaIndex Workflows【下篇】：实现ReAct模式AI智能体的新方法
之前我们介绍了来自LLM开发框架LlamaIndex的新特性：Workflows，一种事件驱动、用于构建复杂AI工作流应用的新方法（参考：[深入解析LlamaIndex Workflows：构建复杂RAG与智能体工作流的新利器【上篇】]。在本篇中ÿ…...
要在 Git Bash 中使用 `tree` 命令，下载并手动安装 `tree`。
0、git bash 安装 git(安装,常用命令,分支操作,gitee,IDEA集成git,IDEA集成gitee,IDEA集成github,远程仓库操作) 1、下载并手动安装 tree 下载 tree.exe 从 tree for Windows 官方站点 下载 tree 的 Windows 可执行文件。tree for Window：https://gnuwin32.source…...