当前位置： 首页 > news >正文

Kafka3.0.0版本——文件存储机制

news 2025/10/25 7:55:51

这里写木目录标题

    • 一、Topic 数据的存储机制
      • 1.1、Topic 数据的存储机制的概述
      • 1.2、Topic 数据的存储机制的图解
      • 1.3、Topic 数据的存储机制的文件解释
    • 二、Topic数据的存储位置示例

一、Topic 数据的存储机制

1.1、Topic 数据的存储机制的概述

  • Topic是逻辑上的概念，而partition是物理上的概念。
  • 每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。
  • Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了 分片和 索引机制。将每个partition分为多个segment。
  • 每个segment包括：“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号，例如：news-0。

1.2、Topic 数据的存储机制的图解

在这里插入图片描述

1.3、Topic 数据的存储机制的文件解释

  • Topic 数据的存储机制的文件解释

    文件格式解释
    .log日志文件
    .index偏移量索引文件
    .timeindex时间戳索引文件
    其他文件

二、Topic数据的存储位置示例

  • 启动生产者，并发送消息。

    bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic threetopic

    在这里插入图片描述

  • 查看四台服务器的/opt/module/kafka/datas/threetopic-0（threetopic-1、threetopic-2、threetopic-3）路径上的文件。

    在这里插入图片描述

  • 通过工具查看 index和 log信息。

    kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log

    在这里插入图片描述

相关文章：

Kafka3.0.0版本——文件存储机制

这里写木目录标题 一、Topic 数据的存储机制1.1、Topic 数据的存储机制的概述1.2、Topic 数据的存储机制的图解1.3、Topic 数据的存储机制的文件解释 二、Topic数据的存储位置示例 一、Topic 数据的存储机制 1.1、Topic 数据的存储机制的概述 Topic是逻辑上的概念&#xff0c…...

编程日记 2023/9/6 23:59:02

Linux如何安装MySQL

Linux安装MySQL5.7 1、下载 官网下载地址：http://dev.mysql.com/downloads/mysql/ 2、复制下面几个文件 3、检查当前系统是否安装过mysql、检查当前mysql依赖环境、检查/tmp文件夹权限 1）检查当前系统是否安装过mysql，执行安装命令前&am…...

编程日记 2023/9/6 23:58:01

确保网络的安全技术介绍

防火墙技术 防火墙是隔离本地网络与外界网络的一道防御系统。通常用于内部局域网 与外部广域网之间，通过限制外部网络用户以非法手段来访问内部资源，来达到保 护内部网络的安全。根据安全规则，防火墙对任何外部网络访问内部网络的行为进 …...

编程日记 2023/9/6 23:57:00

机器学习练习

原文章添加链接描述...

编程日记 2023/9/6 23:55:57

算法通关村第十九关——最小路径和

LeetCode64. 给定一个包含非负整数的 m n 网格 grid,请找出一条从左上角到右下角的路径，使得路径上的数字总和为最小。 输入：grid[[1,3,1],[1,5,1],[4,2,1]] 输出：7 解释：因为路径1→3→1→1→1的总和最小。 public int minPath…...

编程日记 2023/9/6 23:54:57

Linux 访问进程地址空间函数 access_process_vm

文章目录 一、源码解析二、Linux内核 用途2.1 ptrace请求2.2 进程的命令行 参考资料 一、源码解析 /*** get_task_mm - acquire a reference to the tasks mm** Returns %NULL if the task has no mm. Checks PF_KTHREAD (meaning* this kernel workthread has transiently a…...

编程日记 2023/9/6 23:53:56

selenium 动态爬取页面使用教程以及使用案例

Selenium 介绍 概述 Selenium是一款功能强大的自动化Web浏览器交互工具。它可以模拟真实用户在网页上的操作，例如点击、滚动、输入等等。Selenium可以爬取其他库难以爬取的网站，特别是那些需要登录或使用JavaScript的网站。Selenium可以自动地从Web页面…...

编程日记 2023/9/6 23:52:54

小程序中如何查看会员的积分和变更记录

​积分是会员卡的一个重要功能，可以用于激励会员消费和提升用户粘性。在小程序中，商家可以方便地查看会员卡的积分和变更记录，以便更好地了解会员的消费行为和积分变动情况。下面将介绍如何在小程序中查看会员卡的积分和变更记录。 1. 找到指…...

编程日记 2023/9/6 23:51:54

音视频 ffmpeg命令直播拉流推流

直播拉流 ffplay rtmp://server/live/streamName ffmpeg -i rtmp://server/live/streamName -c copy dump.flv对于不是rtmp的协议 -c copy要谨慎使用 直播推流 ffmpeg -re -i out.mp4 -c copy flvrtmp://server/live/streamName参数：-re,表示按时间戳读取文件 参…...

编程日记 2023/9/6 23:50:52

Python钢筋混凝土结构计算.pdf-T001-混凝土强度设计值

以下是使用Python求解上述问题的完整代码： # 输入参数 f_ck 35 # 混凝土的特征抗压强度（单位：MPa） f_cd 25 # 混凝土的强度设计值（单位：MPa） # 求解安全系数 gamma_c f_ck / f_cd # …...

编程日记 2023/9/6 23:49:51

长风破浪会有时，直挂云帆济沧海！（工作室年会总结）

前言 我也是有段时间没写过总结性的博客了。最近是很忙的，尤其是年会那两天，我甚至可以说这是我这辈子目前最忙的两天。但这段经历还是很值得我记录下来的，也是给后面有需要的人提供的一些建议。我个人也是第一次筹办这种大型些的活动&#x…...

编程日记 2023/9/6 23:48:49

（数字图像处理MATLAB+Python）第十一章图像描述与分析-第五、六节：边界描述和矩描述

文章目录 一：边界描述（1）边界链码A：概述B：边界链码改进C：程序 （2）傅里叶描绘子A：概述B：程序 二：矩描述（1）矩A：…...

编程日记 2023/9/6 23:47:47

Redis之bigkey问题解读

目录 什么是bigkey？ bigkey引发的问题 如何查找bigkey redis-cli --bigkeys MEMORY USAGE bigKey如何删除 渐进式删除 unlink bigKey生产调优 什么是bigkey？ bigkey简单来说就是存储本身的key值空间太大，或者hash，list&…...

编程日记 2023/9/6 23:46:45

ElementUI浅尝辄止27：Steps 步骤条

引导用户按照流程完成任务的分步导航条，可根据实际应用场景设定步骤，步骤不得少于 2 步。 1.如何使用？ 设置active属性，接受一个Number，表明步骤的 index，从 0 开始。需要定宽的步骤条时，设置s…...

编程日记 2023/9/6 23:45:44

React 18 迁移状态逻辑至 Reducer 中

参考文章 迁移状态逻辑至 Reducer 中 对于拥有许多状态更新逻辑的组件来说，过于分散的事件处理程序可能会令人不知所措。对于这种情况，可以将组件的所有状态更新逻辑整合到一个外部函数中，这个函数叫作 reducer。 使用 reducer 整合状态逻…...

编程日记 2023/9/6 23:44:42

【SA8295P 源码分析】89 - QNX AIS Camera qcarcam_test 可执行程序 main() 函数 源代码流程分析

【SA8295P 源码分析】89 - QNX AIS Camera qcarcam_test 可执行程序 main 函数 源代码流程分析 一、qcarcam_test.cpp main() 函数源码分析二、qcarcam_test_setup_input_ctxt_thread( ) ：初始化 gCtxt.inputs[input_idx] 上下文环境三、process_cb_event_thread( ) ：负责处理…...

编程日记 2023/9/6 23:43:41

STM32屏幕计时器

目录 一、最终效果二、实现思想三、实现过程3.1 屏幕显示3.2 中断处理 一、最终效果 显示屏显示计时时间，格式为 00:00:00，依次为 时:分:秒，程序运行之后自动计时，当按下按键，计时清零，按下按键采用外部中…...

编程日记 2023/9/6 23:42:40

MRI多任务技术及应用

目录 一、定量心血管磁共振成像（CMR）的改进方法二、磁共振多任务三、磁共振多任务的成像框架四、磁共振多任务的图像模型和采样和重建策略五、利用MR多任务进行快速三维稳态CEST(ss-CEST)成像5.1 利用MR多任务进行快速三维稳态CEST(ss-CEST)成像介绍5.2 …...

编程日记 2023/9/6 23:41:39

app自动化测试（Android）

Capability 是一组键值对的集合（比如："platformName": "Android"）。Capability 主要用于通知 Appium 服务端建立 Session 需要的信息。客户端使用特定语言生成 Capabilities，最终会以 JSON 对象的形式发送给 …...

编程日记 2023/9/6 23:40:38

【力扣每日一题】2023.9.3 消灭怪物的最大数量

目录 题目： 示例： 分析： 代码： 题目： 示例： 分析： 题目比较长，我概括一下就是有一群怪物，每只怪物离城市的距离都不一样，并且靠近的速度也不一样&#x…...

编程日记 2023/9/6 23:39:36

后进先出（LIFO）详解

LIFO 是 Last In, First Out 的缩写，中文译为后进先出。这是一种数据结构的工作原则，类似于一摞盘子或一叠书本： 最后放进去的元素最先出来 -想象往筒状容器里放盘子： （1）你放进的最后一个盘子&#xff08…...

编程新知 2025/10/23 15:00:24

stm32G473的flash模式是单bank还是双bank？

今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...

编程新知 2025/10/22 19:23:16

调用支付宝接口响应40004 SYSTEM_ERROR问题排查

在对接支付宝API的时候，遇到了一些问题，记录一下排查过程。 Body:{"datadigital_fincloud_generalsaas_face_certify_initialize_response":{"msg":"Business Failed","code":"40004","sub_msg…...

编程新知 2025/10/17 20:43:55

51c自动驾驶~合集58

我自己的原文哦~ https://blog.51cto.com/whaosoft/13967107 #CCA-Attention 全局池化局部保留，CCA-Attention为LLM长文本建模带来突破性进展 琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制（CCA-Attention），…...

编程新知 2025/10/21 10:17:35

树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法

树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作，无需更改相机配置。但是，一…...

编程新知 2025/10/24 2:34:21

Java 8 Stream API 入门到实践详解

一、告别 for 循环&#xff01; 传统痛点&#xff1a; Java 8 之前&#xff0c;集合操作离不开冗长的 for 循环和匿名类。例如&#xff0c;过滤列表中的偶数&#xff1a; List<Integer> list Arrays.asList(1, 2, 3, 4, 5); List<Integer> evens new ArrayList…...

编程新知 2025/7/7 9:09:17

什么是库存周转？如何用进销存系统提高库存周转率？

你可能听说过这样一句话&#xff1a; “利润不是赚出来的&#xff0c;是管出来的。” 尤其是在制造业、批发零售、电商这类“货堆成山”的行业&#xff0c;很多企业看着销售不错&#xff0c;账上却没钱、利润也不见了&#xff0c;一翻库存才发现&#xff1a; 一堆卖不动的旧货…...

编程新知 2025/10/20 17:52:30

GruntJS-前端自动化任务运行器从入门到实战

Grunt 完全指南&#xff1a;从入门到实战 一、Grunt 是什么&#xff1f; Grunt是一个基于 Node.js 的前端自动化任务运行器&#xff0c;主要用于自动化执行项目开发中重复性高的任务&#xff0c;例如文件压缩、代码编译、语法检查、单元测试、文件合并等。通过配置简洁的任务…...

编程新知 2025/10/23 12:49:52

纯 Java 项目（非 SpringBoot）集成 Mybatis-Plus 和 Mybatis-Plus-Join

纯 Java 项目&#xff08;非 SpringBoot&#xff09;集成 Mybatis-Plus 和 Mybatis-Plus-Join 1、依赖1.1、依赖版本1.2、pom.xml 2、代码2.1、SqlSession 构造器2.2、MybatisPlus代码生成器2.3、获取 config.yml 配置2.3.1、config.yml2.3.2、项目配置类 2.4、ftl 模板2.4.1、…...

编程新知 2025/9/26 12:26:35

android RelativeLayout布局

<?xml version"1.0" encoding"utf-8"?> <RelativeLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"match_parent"android:gravity&…...

编程新知 2025/10/18 15:38:38