当前位置： 首页 > news >正文

Kafka3.0.0版本——文件存储机制

news 2026/2/11 2:13:55

这里写木目录标题

    • 一、Topic 数据的存储机制
      • 1.1、Topic 数据的存储机制的概述
      • 1.2、Topic 数据的存储机制的图解
      • 1.3、Topic 数据的存储机制的文件解释
    • 二、Topic数据的存储位置示例

一、Topic 数据的存储机制

1.1、Topic 数据的存储机制的概述

  • Topic是逻辑上的概念，而partition是物理上的概念。
  • 每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。
  • Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了 分片和 索引机制。将每个partition分为多个segment。
  • 每个segment包括：“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号，例如：news-0。

1.2、Topic 数据的存储机制的图解

在这里插入图片描述

1.3、Topic 数据的存储机制的文件解释

  • Topic 数据的存储机制的文件解释

    文件格式解释
    .log日志文件
    .index偏移量索引文件
    .timeindex时间戳索引文件
    其他文件

二、Topic数据的存储位置示例

  • 启动生产者，并发送消息。

    bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic threetopic

    在这里插入图片描述

  • 查看四台服务器的/opt/module/kafka/datas/threetopic-0（threetopic-1、threetopic-2、threetopic-3）路径上的文件。

    在这里插入图片描述

  • 通过工具查看 index和 log信息。

    kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log

    在这里插入图片描述

相关文章：

Kafka3.0.0版本——文件存储机制

这里写木目录标题 一、Topic 数据的存储机制1.1、Topic 数据的存储机制的概述1.2、Topic 数据的存储机制的图解1.3、Topic 数据的存储机制的文件解释 二、Topic数据的存储位置示例 一、Topic 数据的存储机制 1.1、Topic 数据的存储机制的概述 Topic是逻辑上的概念&#xff0c…...

编程日记 2023/9/6 23:59:02

Linux如何安装MySQL

Linux安装MySQL5.7 1、下载 官网下载地址：http://dev.mysql.com/downloads/mysql/ 2、复制下面几个文件 3、检查当前系统是否安装过mysql、检查当前mysql依赖环境、检查/tmp文件夹权限 1）检查当前系统是否安装过mysql，执行安装命令前&am…...

编程日记 2023/9/6 23:58:01

确保网络的安全技术介绍

防火墙技术 防火墙是隔离本地网络与外界网络的一道防御系统。通常用于内部局域网 与外部广域网之间，通过限制外部网络用户以非法手段来访问内部资源，来达到保 护内部网络的安全。根据安全规则，防火墙对任何外部网络访问内部网络的行为进 …...

编程日记 2023/9/6 23:57:00

机器学习练习

原文章添加链接描述...

编程日记 2023/9/6 23:55:57

算法通关村第十九关——最小路径和

LeetCode64. 给定一个包含非负整数的 m n 网格 grid,请找出一条从左上角到右下角的路径，使得路径上的数字总和为最小。 输入：grid[[1,3,1],[1,5,1],[4,2,1]] 输出：7 解释：因为路径1→3→1→1→1的总和最小。 public int minPath…...

编程日记 2023/9/6 23:54:57

Linux 访问进程地址空间函数 access_process_vm

文章目录 一、源码解析二、Linux内核 用途2.1 ptrace请求2.2 进程的命令行 参考资料 一、源码解析 /*** get_task_mm - acquire a reference to the tasks mm** Returns %NULL if the task has no mm. Checks PF_KTHREAD (meaning* this kernel workthread has transiently a…...

编程日记 2023/9/6 23:53:56

selenium 动态爬取页面使用教程以及使用案例

Selenium 介绍 概述 Selenium是一款功能强大的自动化Web浏览器交互工具。它可以模拟真实用户在网页上的操作，例如点击、滚动、输入等等。Selenium可以爬取其他库难以爬取的网站，特别是那些需要登录或使用JavaScript的网站。Selenium可以自动地从Web页面…...

编程日记 2023/9/6 23:52:54

小程序中如何查看会员的积分和变更记录

​积分是会员卡的一个重要功能，可以用于激励会员消费和提升用户粘性。在小程序中，商家可以方便地查看会员卡的积分和变更记录，以便更好地了解会员的消费行为和积分变动情况。下面将介绍如何在小程序中查看会员卡的积分和变更记录。 1. 找到指…...

编程日记 2023/9/6 23:51:54

音视频 ffmpeg命令直播拉流推流

直播拉流 ffplay rtmp://server/live/streamName ffmpeg -i rtmp://server/live/streamName -c copy dump.flv对于不是rtmp的协议 -c copy要谨慎使用 直播推流 ffmpeg -re -i out.mp4 -c copy flvrtmp://server/live/streamName参数：-re,表示按时间戳读取文件 参…...

编程日记 2023/9/6 23:50:52

Python钢筋混凝土结构计算.pdf-T001-混凝土强度设计值

以下是使用Python求解上述问题的完整代码： # 输入参数 f_ck 35 # 混凝土的特征抗压强度（单位：MPa） f_cd 25 # 混凝土的强度设计值（单位：MPa） # 求解安全系数 gamma_c f_ck / f_cd # …...

编程日记 2023/9/6 23:49:51

长风破浪会有时，直挂云帆济沧海！（工作室年会总结）

前言 我也是有段时间没写过总结性的博客了。最近是很忙的，尤其是年会那两天，我甚至可以说这是我这辈子目前最忙的两天。但这段经历还是很值得我记录下来的，也是给后面有需要的人提供的一些建议。我个人也是第一次筹办这种大型些的活动&#x…...

编程日记 2023/9/6 23:48:49

（数字图像处理MATLAB+Python）第十一章图像描述与分析-第五、六节：边界描述和矩描述

文章目录 一：边界描述（1）边界链码A：概述B：边界链码改进C：程序 （2）傅里叶描绘子A：概述B：程序 二：矩描述（1）矩A：…...

编程日记 2023/9/6 23:47:47

Redis之bigkey问题解读

目录 什么是bigkey？ bigkey引发的问题 如何查找bigkey redis-cli --bigkeys MEMORY USAGE bigKey如何删除 渐进式删除 unlink bigKey生产调优 什么是bigkey？ bigkey简单来说就是存储本身的key值空间太大，或者hash，list&…...

编程日记 2023/9/6 23:46:45

ElementUI浅尝辄止27：Steps 步骤条

引导用户按照流程完成任务的分步导航条，可根据实际应用场景设定步骤，步骤不得少于 2 步。 1.如何使用？ 设置active属性，接受一个Number，表明步骤的 index，从 0 开始。需要定宽的步骤条时，设置s…...

编程日记 2023/9/6 23:45:44

React 18 迁移状态逻辑至 Reducer 中

参考文章 迁移状态逻辑至 Reducer 中 对于拥有许多状态更新逻辑的组件来说，过于分散的事件处理程序可能会令人不知所措。对于这种情况，可以将组件的所有状态更新逻辑整合到一个外部函数中，这个函数叫作 reducer。 使用 reducer 整合状态逻…...

编程日记 2023/9/6 23:44:42

【SA8295P 源码分析】89 - QNX AIS Camera qcarcam_test 可执行程序 main() 函数 源代码流程分析

【SA8295P 源码分析】89 - QNX AIS Camera qcarcam_test 可执行程序 main 函数 源代码流程分析 一、qcarcam_test.cpp main() 函数源码分析二、qcarcam_test_setup_input_ctxt_thread( ) ：初始化 gCtxt.inputs[input_idx] 上下文环境三、process_cb_event_thread( ) ：负责处理…...

编程日记 2023/9/6 23:43:41

STM32屏幕计时器

目录 一、最终效果二、实现思想三、实现过程3.1 屏幕显示3.2 中断处理 一、最终效果 显示屏显示计时时间，格式为 00:00:00，依次为 时:分:秒，程序运行之后自动计时，当按下按键，计时清零，按下按键采用外部中…...

编程日记 2023/9/6 23:42:40

MRI多任务技术及应用

目录 一、定量心血管磁共振成像（CMR）的改进方法二、磁共振多任务三、磁共振多任务的成像框架四、磁共振多任务的图像模型和采样和重建策略五、利用MR多任务进行快速三维稳态CEST(ss-CEST)成像5.1 利用MR多任务进行快速三维稳态CEST(ss-CEST)成像介绍5.2 …...

编程日记 2023/9/6 23:41:39

app自动化测试（Android）

Capability 是一组键值对的集合（比如："platformName": "Android"）。Capability 主要用于通知 Appium 服务端建立 Session 需要的信息。客户端使用特定语言生成 Capabilities，最终会以 JSON 对象的形式发送给 …...

编程日记 2023/9/6 23:40:38

【力扣每日一题】2023.9.3 消灭怪物的最大数量

目录 题目： 示例： 分析： 代码： 题目： 示例： 分析： 题目比较长，我概括一下就是有一群怪物，每只怪物离城市的距离都不一样，并且靠近的速度也不一样&#x…...

编程日记 2023/9/6 23:39:36

【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道（多模态 OCR → 语义检索 → 答案渲染）、两级检索（倒排 BM25 向量 HNSW）并以大语言模型兜底”的整体框架： 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后，分别用…...

编程新知 2026/2/10 23:40:16

条件运算符

C中的三目运算符（也称条件运算符，英文：ternary operator）是一种简洁的条件选择语句，语法如下： 条件表达式 ? 表达式1 : 表达式2• 如果“条件表达式”为true，则整个表达式的结果为“表达式1”…...

编程新知 2025/12/6 22:50:48

【Zephyr 系列 10】实战项目：打造一个蓝牙传感器终端 + 网关系统（完整架构与全栈实现）

🧠关键词：Zephyr、BLE、终端、网关、广播、连接、传感器、数据采集、低功耗、系统集成 📌目标读者：希望基于 Zephyr 构建 BLE 系统架构、实现终端与网关协作、具备产品交付能力的开发者 📊篇幅字数：约 5200 字 ✨ 项目总览 在物联网实际项目中，**“终端 + 网关”**是…...

编程新知 2026/1/31 6:12:22

Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）

目录 一、👋🏻前言 二、😈sinx波动的基本原理 三、😈波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、🌊波动优化…...

编程新知 2026/2/6 22:55:12

微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据

微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据 Power Query 具有大量专门帮助您清理和准备数据以供分析的功能。 您将了解如何简化复杂模型、更改数据类型、重命名对象和透视数据。 您还将了解如何分析列，以便知晓哪些列包含有价值的数据，…...

编程新知 2026/1/30 9:51:12

Python 包管理器 uv 介绍

Python 包管理器 uv 全面介绍 uv 是由 Astral（热门工具 Ruff 的开发者）推出的下一代高性能 Python 包管理器和构建工具，用 Rust 编写。它旨在解决传统工具（如 pip、virtualenv、pip-tools）的性能瓶颈，同时…...

编程新知 2026/2/7 10:47:09

Netty从入门到进阶（二）

二、Netty入门 1. 概述 1.1 Netty是什么 Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients. Netty是一个异步的、基于事件驱动的网络应用框架，用于…...

编程新知 2026/1/26 5:44:16

AirSim/Cosys-AirSim 游戏开发（四）外部固定位置监控相机

这个博客介绍了如何通过 settings.json 文件添加一个无人机外的 固定位置监控相机，因为在使用过程中发现 Airsim 对外部监控相机的描述模糊，而 Cosys-Airsim 在官方文档中没有提供外部监控相机设置，最后在源码示例中找到了，所以感…...

编程新知 2026/2/5 18:58:39

虚拟电厂发展三大趋势：市场化、技术主导、车网互联

市场化：从政策驱动到多元盈利 政策全面赋能 2025年4月，国家发改委、能源局发布《关于加快推进虚拟电厂发展的指导意见》，首次明确虚拟电厂为“独立市场主体”，提出硬性目标：2027年全国调节能力≥2000万千瓦&#xff0…...

编程新知 2025/12/20 18:09:59

力扣热题100 k个一组反转链表题解

题目: 代码: func reverseKGroup(head *ListNode, k int) *ListNode {cur : headfor i : 0; i < k; i {if cur nil {return head}cur cur.Next}newHead : reverse(head, cur)head.Next reverseKGroup(cur, k)return newHead }func reverse(start, end *ListNode) *ListN…...

编程新知 2026/1/31 8:25:07