当前位置：首页 > news >正文

Kafka3.0.0版本——文件存储机制

news 2026/3/31 12:19:05

这里写木目录标题

- 一、Topic 数据的存储机制
- - 1.1、Topic 数据的存储机制的概述
  - 1.2、Topic 数据的存储机制的图解
  - 1.3、Topic 数据的存储机制的文件解释
- 二、Topic数据的存储位置示例

一、Topic 数据的存储机制

1.1、Topic 数据的存储机制的概述

Topic是逻辑上的概念，而partition是物理上的概念。
每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。
Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制。将每个partition分为多个segment。
每个segment包括：“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号，例如：news-0。

1.2、Topic 数据的存储机制的图解

在这里插入图片描述

1.3、Topic 数据的存储机制的文件解释

Topic 数据的存储机制的文件解释

文件格式解释
.log 日志文件
.index 偏移量索引文件
.timeindex 时间戳索引文件
其他文件

文件格式	解释
.log	日志文件
.index	偏移量索引文件
.timeindex	时间戳索引文件
其他文件

二、Topic数据的存储位置示例

启动生产者，并发送消息。

bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic threetopic

在这里插入图片描述

查看四台服务器的/opt/module/kafka/datas/threetopic-0（threetopic-1、threetopic-2、threetopic-3）路径上的文件。

通过工具查看 index和 log信息。

kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log

在这里插入图片描述

Kafka3.0.0版本——文件存储机制

这里写木目录标题一、Topic 数据的存储机制1.1、Topic 数据的存储机制的概述1.2、Topic 数据的存储机制的图解1.3、Topic 数据的存储机制的文件解释二、Topic数据的存储位置示例一、Topic 数据的存储机制 1.1、Topic 数据的存储机制的概述 Topic是逻辑上的概念&#xff0c…...

编程日记 2023/9/6 23:59:02

Linux如何安装MySQL

Linux安装MySQL5.7 1、下载官网下载地址：http://dev.mysql.com/downloads/mysql/ 2、复制下面几个文件 3、检查当前系统是否安装过mysql、检查当前mysql依赖环境、检查/tmp文件夹权限 1）检查当前系统是否安装过mysql，执行安装命令前&am…...

编程日记 2023/9/6 23:58:01

确保网络的安全技术介绍

防火墙技术防火墙是隔离本地网络与外界网络的一道防御系统。通常用于内部局域网与外部广域网之间，通过限制外部网络用户以非法手段来访问内部资源，来达到保护内部网络的安全。根据安全规则，防火墙对任何外部网络访问内部网络的行为进 …...

编程日记 2023/9/6 23:57:00

算法通关村第十九关——最小路径和

LeetCode64. 给定一个包含非负整数的 m n 网格 grid,请找出一条从左上角到右下角的路径，使得路径上的数字总和为最小。输入：grid[[1,3,1],[1,5,1],[4,2,1]] 输出：7 解释：因为路径1→3→1→1→1的总和最小。 public int minPath…...

编程日记 2023/9/6 23:54:57

Linux 访问进程地址空间函数 access_process_vm

文章目录一、源码解析二、Linux内核用途2.1 ptrace请求2.2 进程的命令行参考资料一、源码解析 /*** get_task_mm - acquire a reference to the tasks mm** Returns %NULL if the task has no mm. Checks PF_KTHREAD (meaning* this kernel workthread has transiently a…...

编程日记 2023/9/6 23:53:56

selenium 动态爬取页面使用教程以及使用案例

Selenium 介绍概述 Selenium是一款功能强大的自动化Web浏览器交互工具。它可以模拟真实用户在网页上的操作，例如点击、滚动、输入等等。Selenium可以爬取其他库难以爬取的网站，特别是那些需要登录或使用JavaScript的网站。Selenium可以自动地从Web页面…...

编程日记 2023/9/6 23:52:54

小程序中如何查看会员的积分和变更记录

积分是会员卡的一个重要功能，可以用于激励会员消费和提升用户粘性。在小程序中，商家可以方便地查看会员卡的积分和变更记录，以便更好地了解会员的消费行为和积分变动情况。下面将介绍如何在小程序中查看会员卡的积分和变更记录。 1. 找到指…...

编程日记 2023/9/6 23:51:54

音视频 ffmpeg命令直播拉流推流

直播拉流 ffplay rtmp://server/live/streamName ffmpeg -i rtmp://server/live/streamName -c copy dump.flv对于不是rtmp的协议 -c copy要谨慎使用直播推流 ffmpeg -re -i out.mp4 -c copy flvrtmp://server/live/streamName参数：-re,表示按时间戳读取文件参…...

编程日记 2023/9/6 23:50:52

Python钢筋混凝土结构计算.pdf-T001-混凝土强度设计值

以下是使用Python求解上述问题的完整代码： # 输入参数 f_ck 35 # 混凝土的特征抗压强度（单位：MPa） f_cd 25 # 混凝土的强度设计值（单位：MPa） # 求解安全系数 gamma_c f_ck / f_cd # …...

编程日记 2023/9/6 23:49:51

长风破浪会有时，直挂云帆济沧海！（工作室年会总结）

前言我也是有段时间没写过总结性的博客了。最近是很忙的，尤其是年会那两天，我甚至可以说这是我这辈子目前最忙的两天。但这段经历还是很值得我记录下来的，也是给后面有需要的人提供的一些建议。我个人也是第一次筹办这种大型些的活动&#x…...

编程日记 2023/9/6 23:48:49

（数字图像处理MATLAB+Python）第十一章图像描述与分析-第五、六节：边界描述和矩描述

文章目录一：边界描述（1）边界链码A：概述B：边界链码改进C：程序 （2）傅里叶描绘子A：概述B：程序二：矩描述（1）矩A：…...

编程日记 2023/9/6 23:47:47

Redis之bigkey问题解读

目录什么是bigkey？ bigkey引发的问题如何查找bigkey redis-cli --bigkeys MEMORY USAGE bigKey如何删除渐进式删除 unlink bigKey生产调优什么是bigkey？ bigkey简单来说就是存储本身的key值空间太大，或者hash，list&…...

编程日记 2023/9/6 23:46:45

ElementUI浅尝辄止27：Steps 步骤条

引导用户按照流程完成任务的分步导航条，可根据实际应用场景设定步骤，步骤不得少于 2 步。 1.如何使用？ 设置active属性，接受一个Number，表明步骤的 index，从 0 开始。需要定宽的步骤条时，设置s…...

编程日记 2023/9/6 23:45:44

React 18 迁移状态逻辑至 Reducer 中

参考文章迁移状态逻辑至 Reducer 中对于拥有许多状态更新逻辑的组件来说，过于分散的事件处理程序可能会令人不知所措。对于这种情况，可以将组件的所有状态更新逻辑整合到一个外部函数中，这个函数叫作 reducer。使用 reducer 整合状态逻…...

编程日记 2023/9/6 23:44:42

【SA8295P 源码分析】89 - QNX AIS Camera qcarcam_test 可执行程序 main() 函数源代码流程分析

【SA8295P 源码分析】89 - QNX AIS Camera qcarcam_test 可执行程序 main 函数源代码流程分析一、qcarcam_test.cpp main() 函数源码分析二、qcarcam_test_setup_input_ctxt_thread( ) ：初始化 gCtxt.inputs[input_idx] 上下文环境三、process_cb_event_thread( ) ：负责处理…...

编程日记 2023/9/6 23:43:41

STM32屏幕计时器

目录一、最终效果二、实现思想三、实现过程3.1 屏幕显示3.2 中断处理一、最终效果显示屏显示计时时间，格式为 00:00:00，依次为时:分:秒，程序运行之后自动计时，当按下按键，计时清零，按下按键采用外部中…...

编程日记 2023/9/6 23:42:40

MRI多任务技术及应用

目录一、定量心血管磁共振成像（CMR）的改进方法二、磁共振多任务三、磁共振多任务的成像框架四、磁共振多任务的图像模型和采样和重建策略五、利用MR多任务进行快速三维稳态CEST(ss-CEST)成像5.1 利用MR多任务进行快速三维稳态CEST(ss-CEST)成像介绍5.2 …...

编程日记 2023/9/6 23:41:39

app自动化测试（Android）

Capability 是一组键值对的集合（比如："platformName": "Android"）。Capability 主要用于通知 Appium 服务端建立 Session 需要的信息。客户端使用特定语言生成 Capabilities，最终会以 JSON 对象的形式发送给 …...

编程日记 2023/9/6 23:40:38

【力扣每日一题】2023.9.3 消灭怪物的最大数量

目录题目： 示例： 分析： 代码： 题目： 示例： 分析： 题目比较长，我概括一下就是有一群怪物，每只怪物离城市的距离都不一样，并且靠近的速度也不一样&#x…...

编程日记 2023/9/6 23:39:36

COMSOL 6.1 激光粉末床熔融气孔缺陷演化仿真：开启微观世界的探索之旅

COMSOL 6.1 激光粉末床熔融气孔缺陷演化仿真案例模型本案例选用层流和流体传热模块，采用水平集法，考虑材料的热物性以及激光加工过程中的马兰戈尼效应、熔融金属表面张力、反冲压力、相变潜热、热对流和热辐射，建立含气孔缺陷的二维数值仿真…...

编程新知 2026/3/31 12:07:37

Qwen3.5-2B部署实战：端侧轻量化多模态模型一键镜像教程

Qwen3.5-2B部署实战：端侧轻量化多模态模型一键镜像教程 1. 模型简介 Qwen3.5-2B是阿里云推出的轻量化多模态基础模型，属于Qwen3.5系列的小参数版本（20亿参数）。这个模型专为低功耗、低门槛部署场景设计，特别适合端侧…...

编程新知 2026/3/31 11:59:35

AsrTools终极指南：三步实现免费语音转文本，效率提升300%的完整方案

编程新知 2026/3/31 11:55:34

巧用Google Maps与ScreenToGif：零行程数据也能轻松生成动态路线图

1. 从零开始制作动态路线图的必备工具最近有个朋友问我："想给客户展示项目选址的交通路线，但实地考察还没开始，怎么做出专业的动态路线图？"这让我想起自己两年前第一次做商业提案时的窘境——当时为了展示物流配送路线…...

编程新知 2026/3/31 11:01:05

LeagueAkari：英雄联盟智能辅助工具完全指南

LeagueAkari：英雄联盟智能辅助工具完全指南【免费下载链接】League-Toolkit 兴趣使然的、简单易用的英雄联盟工具集。支持战绩查询、自动秒选等功能。基于 LCU API。项目地址: https://gitcode.com/gh_mirrors/le/League-Toolkit LeagueAkari是一款基于英雄…...

编程新知 2026/3/31 10:14:25