linux中缓存，在kafka上应用总结
linux中的缓存 页缓存 pagecatch（读缓存用于提供快速读）块缓存（用于提供其他设备快速写）当对读缓存读的时候，修改了读的数据，页缓存就会被标记为脏数据，等到写的时候它会向块缓存同步数据，并写入到磁盘中
零拷贝：如上kafka读取文件会由操作系统读到页缓存，在读到kafaka的输入缓存，在同步到输出缓存用于写入其他设备，数据写操作会调用系统的块缓存写入，然后再把块缓存数据写到网卡中，这个过程比较耗时，从系统到kafka应用完成多次数据转译，称为多次拷贝，这个过程线程会跨用户态和核心态的代码存在切换额外保存数据的额外消耗。特权指令和非特权指令要求cpu切换状态，内核态和用户态的指令不能跨状体工作 ，切换效率低而且这是一次操作数据量大的时候性能就越低。
kafka使用nio的channel加上buffer的transfrom_to函数实现数据0拷贝，直接将内存数据发送给kafka的消费者。
kafka的应答策略
kafka生产者保证数据发送的安全性，会对消息记录收集校验序列化，放入buff缓存，加快额外的其他数据处理，这些生产的数据会大量的涌入缓存，消息发送器sender，会处理这些数据时无法控制顺序，需要有一个排队机制，sender通过双端队列的方式完成数据的取和网络发送，批发送处理数据最大16k到双端队列中，线程sender负责消费队列的数据，为了保证数据的顺序不丢失发送器引入了在途请求控制器inFilghtRequest默认值为5，是用来网络客户端和网络服务器端的数据请求安全通信的，在途请求不能设置过大，会影响性能，默认值为5，它用来服务端处理数据超时或数据没有被持久化，客户端接收到消息，并控制在在途请求的这个阶段的数据一直保持重试排序，拉取下一批次的偏移量的消息，直到前面的在途请求被有序处理和应答新一轮的批次请求又开始进行，
在途请求的消息会找到存放通道的map，找到符合当前生产者的通道，channel使用java的nio在发送的时候利用nio多路复用器和buffer的零拷贝机制，减少资源消耗，socketChannel将数据发送到网络。
消费者组件
相关文章：
linux中缓存，在kafka上应用总结
linux中的缓存 页缓存 pagecatch（读缓存用于提供快速读）块缓存（用于提供其他设备快速写）当对读缓存读的时候，修改了读的数据，页缓存就会被标记为脏数据，等到写的时候它会向块缓存同步数据&…...
前端练习小项目 —— 让图片变得更 “色”
前言：相信读者在学习完了HTML、CSS和JavaScript之后已经想要迫不及待的想找一个小型的项目来练练手，那么这篇文章就正好能满足你的 “需求”。 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主页秋刀鱼不做梦-CSDN博客 在开始学习…...
时间卷积网络（TCN）原理+代码详解
目录 一、TCN原理1.1 因果卷积（Causal Convolution）1.2 扩张卷积（Dilated Convolution） 二、代码实现2.1 Chomp1d 模块2.2 TemporalBlock 模块2.3 TemporalConvNet 模块2.4 完整代码示例 参考文献 在理解 TCN 的原理之前ÿ…...
零散的知识
1.物化 在SQL中，物化（Materialization）是指将查询结果保存为物理数据结构以供后续使用的过程。这与普通的视图或查询不同，物化视图会存储查询的结果，而不是每次查询时都动态地重新计算数据。 ①物化视图 物化视图是一…...
Python读取pdf中的文字与表格
一、PyPDF2包安装 在Python中安装PyPDF2库，您可以使用pip包管理器。打开您的命令行工具（例如CMD、Terminal或Anaconda Prompt），然后输入以下命令： pip install PyPDF2 如果您使用的是Python 3，并且系统中…...
【MySQL 08】复合查询
目录 1.准备工作 2.多表查询 笛卡尔积 多表查询案例 3. 自连接 4.子查询 1.单行子查询 2.多行子查询 3.多列子查询 4.在from子句中使用子查询 5.合并查询 1.union 2.union all 1.准备工作 如下三个表，将作为示例，理解复合查询 EMP员工表…...
求1000以内的完数
题目：一个数如果恰好等于他的因子之和（包括1，但不包括这个数），这个数就是完数。编写算法找出1000之内的所有完数，并按下面格式输出其因子：28 its factors are 1,2,4,7,14 代码如下：…...
sqli-labs less-16 post提交dnslog注入
post提交DNSlog注入 第十六关和和十五关大差不大，可以使用布尔注入，时间盲注等，只不过闭合方式不一样，但是用布尔和时间盲太过于消耗时间，本次测试我将使用dnslog注入。 使用在线平台http://www.dnslog.cn/ 闭合方式…...
nginx报错|xquic|xqc_engine_create: fail|
一.问题描述 nginx使用xquic协议一切安装正常,nginx -s reload也正常，但就是访问不了网页 [emerg] 12342#0: |xquic|xqc_engine_create: fail| [emerg] 12342#0: |xquic|ngx_xquic_process_init|engine_init fail| [emerg] 12341#0: |xquic|xqc_engine_create: fai…...
Java虚拟机(JVM)
目录 内存区域划分堆（Heap）方法区（Method Area）程序计数器（Program Counter Register）虚拟机栈（VM Stack）本地方法栈（Native Method Stack） 类加载的过程类加…...
MQ 架构设计原理与消息中间件详解（三）
RabbitMQ实战解决方案 RabbitMQ死信队列 死信队列产生的背景 RabbitMQ死信队列俗称，备胎队列；消息中间件因为某种原因拒收该消息后，可以转移到死信队列中存放，死信队列也可以有交换机和路由key等。 产生死信队列的原因 消息投…...
大数据新视界 --大数据大厂之 Alluxio 数据缓存系统在大数据中的应用与配置
💖💖💖亲爱的朋友们，热烈欢迎你们来到 青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…...
PHP基本语法总结
目录 输出语句 注释 数据类型（变量） 局部和全局作用域 类型比较（松散比较与严格比较） 常量 运算符 并置运算符 不等于 逻辑运算符 条件语句 数组 关联数组 数组排序 一般数组 关联数组 循环 函数 变量函数 魔…...
尚硅谷rabbitmq 2024第30-33节 死信队列 答疑
Virtual host: Type: Name: Durabiity: Arguments: Default for virtual host w ququt.normal.video Durable x-dead-letter-exchange x-dead-1etter-routing-xey x-mAx-1ength X-m在88点0也-6E1 exchange.dead.letter.vide zouting.key.dead.ietter.v 10 String String Number…...
解锁空间距离计算的多种方式-含前端、空间数据库、后端
目录 前言 一、空间数据库求解 1、PostGIS实现 二、GIS前端组件求解 1、Leaflet.js距离测算 2、Turf.js前端计算 三、后台距离计算生成 1、欧式距离 2、Haversice球面距离 3、GeoTools距离计算 4、Gdal距离生成 5、geodesy距离计算 四、成果与生成对比 1、Java不…...
Windows 开发工具使用技巧 QT使用安装和使用技巧 QT快捷键
一、QT配置 1. 安装 Qt 开发框架 1、下载 1、进入下载地址 下载地址1 (官方, 需注册账号)： https://www.qt.io/download下载地址2（推荐）： http://download.qt.io/http://download.qt.io/archive/qt/ （或更直接的…...
【实战教程】SpringBoot全面指南：快速上手到项目实战(SpringBoot)
文章目录 【实战教程】SpringBoot全面指南：快速上手到项目实战(SpringBoot)1. SpringBoot介绍1.1 SpringBoot简介1.2系统要求1.3 SpringBoot和SpringMVC区别1.4 SpringBoot和SpringCloud区别 2.快速入门3. Web开发3.1 静态资源访问3.2 渲染Web页面3.3 YML与Properti…...
LeetCode讲解篇之1043. 分隔数组以得到最大和
文章目录 题目描述题解思路题解代码题目链接 题目描述 题解思路 对于这题我们这么考虑，我们选择以数字的第i个元素做为分隔子数组的右边界，我们需要计算当前分隔子数组的长度为多少时能让数组[0, i]进行分隔数组的和最大 我们用数组f表示[0, i)区间内的…...
Python知识点：结合Python工具，如何使用TfidfVectorizer进行文本特征提取
开篇，先说一个好消息，截止到2025年1月1日前，翻到文末找到我，赠送定制版的开题报告和任务书，先到先得！过期不候！ 如何使用Python的TfidfVectorizer进行文本特征提取 在自然语言处理（…...
Diffusion models（扩散模型） 是怎么工作的
前言 给一个提示词, Midjourney, Stable Diffusion 和 DALL-E 可以生成很好看的图片，那么它们是怎么工作的呢？它们都用了 Diffusion models（扩散模型） 这项技术。 Diffusion models 正在成为生命科学等领域的一项尖端技术&…...
利用最小二乘法找圆心和半径
#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...
【网络】每天掌握一个Linux命令 - iftop
在Linux系统中，iftop是网络管理的得力助手，能实时监控网络流量、连接情况等，帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...
Linux链表操作全解析
Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...
逻辑回归：给不确定性划界的分类大师
想象你是一名医生。面对患者的检查报告（肿瘤大小、血液指标），你需要做出一个**决定性判断**：恶性还是良性？这种“非黑即白”的抉择，正是**逻辑回归（Logistic Regression）** 的战场&a…...
MySQL 隔离级别：脏读、幻读及不可重复读的原理与示例
一、MySQL 隔离级别 MySQL 提供了四种隔离级别，用于控制事务之间的并发访问以及数据的可见性，不同隔离级别对脏读、幻读、不可重复读这几种并发数据问题有着不同的处理方式，具体如下： 隔离级别脏读不可重复读幻读性能特点及锁机制读未提交（READ UNCOMMITTED）允许出现允许…...
python/java环境配置
环境变量放一起 python： 1.首先下载Python Python下载地址：Download Python | Python.org downloads ---windows -- 64 2.安装Python 下面两个，然后自定义，全选 可以把前4个选上 3.环境配置 1）搜高级系统设置 2…...
【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）
可以使用Sqliteviz这个网站免费编写sql语句，它能够让用户直接在浏览器内练习SQL的语法，不需要安装任何软件。 链接如下： sqliteviz 注意： 在转写SQL语法时，关键字之间有一个特定的顺序，这个顺序会影响到…...
使用van-uploader 的UI组件，结合vue2如何实现图片上传组件的封装
以下是基于 vant-ui（适配 Vue2 版本 ）实现截图中照片上传预览、删除功能，并封装成可复用组件的完整代码，包含样式和逻辑实现，可直接在 Vue2 项目中使用： 1. 封装的图片上传组件 ImageUploader.vue <te…...
生成 Git SSH 证书
🔑 1. 生成 SSH 密钥对 在终端（Windows 使用 Git Bash，Mac/Linux 使用 Terminal）执行命令： ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 参数说明： -t rsa&#x…...
ETLCloud可能遇到的问题有哪些？常见坑位解析
数据集成平台ETLCloud，主要用于支持数据的抽取（Extract）、转换（Transform）和加载（Load）过程。提供了一个简洁直观的界面，以便用户可以在不同的数据源之间轻松地进行数据迁移和转换。…...