当前位置： 首页 > news >正文

Kafka3.0.0版本——文件存储机制

news 2025/8/27 11:58:19

这里写木目录标题

    • 一、Topic 数据的存储机制
      • 1.1、Topic 数据的存储机制的概述
      • 1.2、Topic 数据的存储机制的图解
      • 1.3、Topic 数据的存储机制的文件解释
    • 二、Topic数据的存储位置示例

一、Topic 数据的存储机制

1.1、Topic 数据的存储机制的概述

  • Topic是逻辑上的概念，而partition是物理上的概念。
  • 每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。
  • Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了 分片和 索引机制。将每个partition分为多个segment。
  • 每个segment包括：“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号，例如：news-0。

1.2、Topic 数据的存储机制的图解

在这里插入图片描述

1.3、Topic 数据的存储机制的文件解释

  • Topic 数据的存储机制的文件解释

    文件格式解释
    .log日志文件
    .index偏移量索引文件
    .timeindex时间戳索引文件
    其他文件

二、Topic数据的存储位置示例

  • 启动生产者，并发送消息。

    bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic threetopic

    在这里插入图片描述

  • 查看四台服务器的/opt/module/kafka/datas/threetopic-0（threetopic-1、threetopic-2、threetopic-3）路径上的文件。

    在这里插入图片描述

  • 通过工具查看 index和 log信息。

    kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log

    在这里插入图片描述

相关文章：

Kafka3.0.0版本——文件存储机制

这里写木目录标题 一、Topic 数据的存储机制1.1、Topic 数据的存储机制的概述1.2、Topic 数据的存储机制的图解1.3、Topic 数据的存储机制的文件解释 二、Topic数据的存储位置示例 一、Topic 数据的存储机制 1.1、Topic 数据的存储机制的概述 Topic是逻辑上的概念&#xff0c…...

编程日记 2023/9/6 23:59:02

Linux如何安装MySQL

Linux安装MySQL5.7 1、下载 官网下载地址：http://dev.mysql.com/downloads/mysql/ 2、复制下面几个文件 3、检查当前系统是否安装过mysql、检查当前mysql依赖环境、检查/tmp文件夹权限 1）检查当前系统是否安装过mysql，执行安装命令前&am…...

编程日记 2023/9/6 23:58:01

确保网络的安全技术介绍

防火墙技术 防火墙是隔离本地网络与外界网络的一道防御系统。通常用于内部局域网 与外部广域网之间，通过限制外部网络用户以非法手段来访问内部资源，来达到保 护内部网络的安全。根据安全规则，防火墙对任何外部网络访问内部网络的行为进 …...

编程日记 2023/9/6 23:57:00

机器学习练习

原文章添加链接描述...

编程日记 2023/9/6 23:55:57

算法通关村第十九关——最小路径和

LeetCode64. 给定一个包含非负整数的 m n 网格 grid,请找出一条从左上角到右下角的路径，使得路径上的数字总和为最小。 输入：grid[[1,3,1],[1,5,1],[4,2,1]] 输出：7 解释：因为路径1→3→1→1→1的总和最小。 public int minPath…...

编程日记 2023/9/6 23:54:57

Linux 访问进程地址空间函数 access_process_vm

文章目录 一、源码解析二、Linux内核 用途2.1 ptrace请求2.2 进程的命令行 参考资料 一、源码解析 /*** get_task_mm - acquire a reference to the tasks mm** Returns %NULL if the task has no mm. Checks PF_KTHREAD (meaning* this kernel workthread has transiently a…...

编程日记 2023/9/6 23:53:56

selenium 动态爬取页面使用教程以及使用案例

Selenium 介绍 概述 Selenium是一款功能强大的自动化Web浏览器交互工具。它可以模拟真实用户在网页上的操作，例如点击、滚动、输入等等。Selenium可以爬取其他库难以爬取的网站，特别是那些需要登录或使用JavaScript的网站。Selenium可以自动地从Web页面…...

编程日记 2023/9/6 23:52:54

小程序中如何查看会员的积分和变更记录

​积分是会员卡的一个重要功能，可以用于激励会员消费和提升用户粘性。在小程序中，商家可以方便地查看会员卡的积分和变更记录，以便更好地了解会员的消费行为和积分变动情况。下面将介绍如何在小程序中查看会员卡的积分和变更记录。 1. 找到指…...

编程日记 2023/9/6 23:51:54

音视频 ffmpeg命令直播拉流推流

直播拉流 ffplay rtmp://server/live/streamName ffmpeg -i rtmp://server/live/streamName -c copy dump.flv对于不是rtmp的协议 -c copy要谨慎使用 直播推流 ffmpeg -re -i out.mp4 -c copy flvrtmp://server/live/streamName参数：-re,表示按时间戳读取文件 参…...

编程日记 2023/9/6 23:50:52

Python钢筋混凝土结构计算.pdf-T001-混凝土强度设计值

以下是使用Python求解上述问题的完整代码： # 输入参数 f_ck 35 # 混凝土的特征抗压强度（单位：MPa） f_cd 25 # 混凝土的强度设计值（单位：MPa） # 求解安全系数 gamma_c f_ck / f_cd # …...

编程日记 2023/9/6 23:49:51

长风破浪会有时，直挂云帆济沧海！（工作室年会总结）

前言 我也是有段时间没写过总结性的博客了。最近是很忙的，尤其是年会那两天，我甚至可以说这是我这辈子目前最忙的两天。但这段经历还是很值得我记录下来的，也是给后面有需要的人提供的一些建议。我个人也是第一次筹办这种大型些的活动&#x…...

编程日记 2023/9/6 23:48:49

（数字图像处理MATLAB+Python）第十一章图像描述与分析-第五、六节：边界描述和矩描述

文章目录 一：边界描述（1）边界链码A：概述B：边界链码改进C：程序 （2）傅里叶描绘子A：概述B：程序 二：矩描述（1）矩A：…...

编程日记 2023/9/6 23:47:47

Redis之bigkey问题解读

目录 什么是bigkey？ bigkey引发的问题 如何查找bigkey redis-cli --bigkeys MEMORY USAGE bigKey如何删除 渐进式删除 unlink bigKey生产调优 什么是bigkey？ bigkey简单来说就是存储本身的key值空间太大，或者hash，list&…...

编程日记 2023/9/6 23:46:45

ElementUI浅尝辄止27：Steps 步骤条

引导用户按照流程完成任务的分步导航条，可根据实际应用场景设定步骤，步骤不得少于 2 步。 1.如何使用？ 设置active属性，接受一个Number，表明步骤的 index，从 0 开始。需要定宽的步骤条时，设置s…...

编程日记 2023/9/6 23:45:44

React 18 迁移状态逻辑至 Reducer 中

参考文章 迁移状态逻辑至 Reducer 中 对于拥有许多状态更新逻辑的组件来说，过于分散的事件处理程序可能会令人不知所措。对于这种情况，可以将组件的所有状态更新逻辑整合到一个外部函数中，这个函数叫作 reducer。 使用 reducer 整合状态逻…...

编程日记 2023/9/6 23:44:42

【SA8295P 源码分析】89 - QNX AIS Camera qcarcam_test 可执行程序 main() 函数 源代码流程分析

【SA8295P 源码分析】89 - QNX AIS Camera qcarcam_test 可执行程序 main 函数 源代码流程分析 一、qcarcam_test.cpp main() 函数源码分析二、qcarcam_test_setup_input_ctxt_thread( ) ：初始化 gCtxt.inputs[input_idx] 上下文环境三、process_cb_event_thread( ) ：负责处理…...

编程日记 2023/9/6 23:43:41

STM32屏幕计时器

目录 一、最终效果二、实现思想三、实现过程3.1 屏幕显示3.2 中断处理 一、最终效果 显示屏显示计时时间，格式为 00:00:00，依次为 时:分:秒，程序运行之后自动计时，当按下按键，计时清零，按下按键采用外部中…...

编程日记 2023/9/6 23:42:40

MRI多任务技术及应用

目录 一、定量心血管磁共振成像（CMR）的改进方法二、磁共振多任务三、磁共振多任务的成像框架四、磁共振多任务的图像模型和采样和重建策略五、利用MR多任务进行快速三维稳态CEST(ss-CEST)成像5.1 利用MR多任务进行快速三维稳态CEST(ss-CEST)成像介绍5.2 …...

编程日记 2023/9/6 23:41:39

app自动化测试（Android）

Capability 是一组键值对的集合（比如："platformName": "Android"）。Capability 主要用于通知 Appium 服务端建立 Session 需要的信息。客户端使用特定语言生成 Capabilities，最终会以 JSON 对象的形式发送给 …...

编程日记 2023/9/6 23:40:38

【力扣每日一题】2023.9.3 消灭怪物的最大数量

目录 题目： 示例： 分析： 代码： 题目： 示例： 分析： 题目比较长，我概括一下就是有一群怪物，每只怪物离城市的距离都不一样，并且靠近的速度也不一样&#x…...

编程日记 2023/9/6 23:39:36

web vue 项目 Docker化部署

Web 项目 Docker 化部署详细教程 目录 Web 项目 Docker 化部署概述Dockerfile 详解 构建阶段生产阶段 构建和运行 Docker 镜像 1. Web 项目 Docker 化部署概述 Docker 化部署的主要步骤分为以下几个阶段： 构建阶段（Build Stage）&#xff1a…...

编程新知 2025/8/12 16:28:43

【解密LSTM、GRU如何解决传统RNN梯度消失问题】

解密LSTM与GRU：如何让RNN变得更聪明？ 在深度学习的世界里，循环神经网络（RNN）以其卓越的序列数据处理能力广泛应用于自然语言处理、时间序列预测等领域。然而，传统RNN存在的一个严重问题——梯度消失&#…...

编程新知 2025/8/3 16:10:07

Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务

通过akshare库，获取股票数据，并生成TabPFN这个模型 可以识别、处理的格式，写一个完整的预处理示例，并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务，进行预测并输…...

编程新知 2025/6/26 20:21:28

NFT模式：数字资产确权与链游经济系统构建

NFT模式：数字资产确权与链游经济系统构建 ——从技术架构到可持续生态的范式革命 一、确权技术革新：构建可信数字资产基石 1. 区块链底层架构的进化 跨链互操作协议：基于LayerZero协议实现以太坊、Solana等公链资产互通，通过零知…...

编程新知 2025/8/27 2:19:34

高防服务器能够抵御哪些网络攻击呢？

高防服务器作为一种有着高度防御能力的服务器，可以帮助网站应对分布式拒绝服务攻击，有效识别和清理一些恶意的网络流量，为用户提供安全且稳定的网络环境，那么，高防服务器一般都可以抵御哪些网络攻击呢？下面…...

编程新知 2025/8/7 3:21:25

【Linux系统】Linux环境变量：系统配置的隐形指挥官

。# Linux系列 文章目录 前言一、环境变量的概念二、常见的环境变量三、环境变量特点及其相关指令3.1 环境变量的全局性3.2、环境变量的生命周期 四、环境变量的组织方式五、C语言对环境变量的操作5.1 设置环境变量：setenv5.2 删除环境变量:unsetenv5.3 遍历所有环境…...

编程新知 2025/8/22 5:07:21

android RelativeLayout布局

<?xml version"1.0" encoding"utf-8"?> <RelativeLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"match_parent"android:gravity&…...

编程新知 2025/8/25 18:15:16

Vue ③-生命周期 || 脚手架

生命周期 思考&#xff1a;什么时候可以发送初始化渲染请求&#xff1f;&#xff08;越早越好&#xff09; 什么时候可以开始操作dom&#xff1f;&#xff08;至少dom得渲染出来&#xff09; Vue生命周期&#xff1a; 一个Vue实例从 创建 到 销毁 的整个过程。 生命周期四个…...

编程新知 2025/8/22 5:20:15

Unity中的transform.up

2025年6月8日&#xff0c;周日下午 在Unity中&#xff0c;transform.up是Transform组件的一个属性&#xff0c;表示游戏对象在世界空间中的“上”方向&#xff08;Y轴正方向&#xff09;&#xff0c;且会随对象旋转动态变化。以下是关键点解析&#xff1a; 基本定义 transfor…...

编程新知 2025/8/22 6:11:38

C++实现分布式网络通信框架RPC(2)——rpc发布端

有了上篇文章的项目的基本知识的了解&#xff0c;现在我们就开始构建项目。 目录 一、构建工程目录 二、本地服务发布成RPC服务 2.1理解RPC发布 2.2实现 三、Mprpc框架的基础类设计 3.1框架的初始化类 MprpcApplication 代码实现 3.2读取配置文件类 MprpcConfig 代码实现…...

编程新知 2025/8/22 6:27:57