当前位置： 首页 > news >正文

Kafka3.0.0版本——消费者（offset的默认维护位置）

news 2026/2/10 21:36:30

目录

    • 一、offset的默认维护位置
      • 1.1、offset的默认维护位置概述
      • 1.2、offset的默认维护位置图解
    • 二、消费者offset的案例

一、offset的默认维护位置

1.1、offset的默认维护位置概述

  • Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中。
  • 从Kafka0.9版本开始，consumer默认将offset保存在Kafka一个内置的topic中，该topic为__consumer_offsets
  • __consumer_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic进行compact，也就是每个 group.id+topic+分区号就保留最新数据。
  • __consumer_offsets 为 Kafka 中的 topic，那就可以通过消费者进行消费。

1.2、offset的默认维护位置图解

在这里插入图片描述

二、消费者offset的案例

  • 在配置文件 config/consumer.properties 中添加配置 exclude.internal.topics=false，默认是 true，表示不能消费系统主题。为了查看该系统主题数据，所以该参数修改为 false。
    在这里插入图片描述
    在这里插入图片描述

  • 重启kafka服务。
    在这里插入图片描述

  • 采用命令行方式，创建一个新的 topic。

    bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --create --partitions 2 --replication-factor 2 --topic offsetTopic

    在这里插入图片描述

  • 启动生产者往 offsetTopic 生产数据。

    bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic offsetTopic

    在这里插入图片描述

  • 启动消费者消费 offsetTopic 数据。
    注意：指定消费者组名称，更好观察数据存储位置（key 是 group.id+topic+分区号）。

    bin/kafka-console-consumer.sh  --bootstrap-server 192.168.136.27:9092 --topic offsetTopic --group test

    在这里插入图片描述

  • 查看消费者消费主题__consumer_offsets。

    bin/kafka-console-consumer.sh --topic __consumer_offsets  --bootstrap-server  192.168.136.29:9092  --consumer.config  config/consumer.properties  --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --from-beginning

    在这里插入图片描述
    在这里插入图片描述

相关文章：

Kafka3.0.0版本——消费者（offset的默认维护位置）

目录 一、offset的默认维护位置1.1、offset的默认维护位置概述1.2、offset的默认维护位置图解 二、消费者offset的案例 一、offset的默认维护位置 1.1、offset的默认维护位置概述 Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中。从Kafka0.9版本开始&am…...

编程日记 2023/9/11 7:21:05

Wireshark技巧[监听串口包]

监听串口包 本文摘录于：https://blog.csdn.net/qq_20405005/article/details/79652927只是做学习备份之用，绝无抄袭之意，有疑惑请联系本人！ 这里要保证安装了USBpcap: 打开USBpcap后一半都要输入过滤条件,否则USB太多数据了,比如…...

编程日记 2023/9/11 7:20:01

安全运营中心即服务提供商评估

如果组织当前没有自己的安全运营中心(SOC)，那么可能需要考虑如何在不从头开始构建的情况下获得安全运营中心(SOC)。自己构建安全运营中心(SOC)的费用可能会非常昂贵，考虑到工作人员全天候运营的配置成本，就更是如此。在过去几年中&#xff0c…...

编程日记 2023/9/11 7:19:00

算法通关村第十三关——幂运算问题解析

前言 幂运算为常见的数学运算，形式为 a b a^b ab ，其中a为底数，b为指数， 力扣中，幂运算相关的问题主要是判断一个数是不是特定正整数的整数次幂，以及快速幂的处理。 1.求2的幂 力扣231题，给…...

编程日记 2023/9/11 7:17:58

Python 之使用Numpy库来加载Numpy（.npy）文件并检查其内容

文章目录 总的介绍data.dtypedata.shapedata.ndimdata.size 总的介绍 要判断一个Numpy（.npy）文件的数据集类型，你可以使用Python中的Numpy库来加载该文件并检查其内容。以下是一些常见的步骤： 导入Numpy库： 首先&…...

编程日记 2023/9/11 7:16:56

C#学习系列之UDP同端口收发问题

C#学习系列之UDP同端口收发问题 前言解决办法关于JoinMulticastGroup总结 前言 想测试自己的程序问题，建立了两个UDP程序，一个往端口中接到数就传出去，另一个从这个端口接数据来解析。 出现的问题是 每次打开端口，另一个程序就无…...

编程日记 2023/9/11 7:15:55

SpringMVC之文件上传下载以及jrebel的使用

目录 一、文件上传 1.1 导入依赖 1.2 配置文件上传解析器 1.3 配置服务器存放文件地址 1.3.1 点击编辑Configurations 1.3.2 将项目部署至tomcat服务器上 1.3.3 配置相对路径 1.4 导入PropertiesUtil工具类 1.5 编写resource.properties 1.6 添加sql 1.7 编写PageCo…...

编程日记 2023/9/11 7:14:54

基于Fomantic UI Web构建 个人导航站点网站源码 网站技术导航源码

BYR-Navi-master好看有个性的网站技术导航源码 该网站基于Fomantic UI Web框架构建，整个项目的设计和构建具有高度的配置和定制灵活性。 整体风格比较适合个人导航站点使用 搜索框输入关键词后，点击上方搜索引擎图标可跳转打开对应搜索引擎搜索结果&am…...

编程日记 2023/9/11 7:13:53

DRF02-请求响应与路由

文章目录 1. http请求响应1.1. 请求与响应1.1.1 Request1.1.1.1 常用属性1）.data2）.query_params3）request._request基本使用1.1.2 Response1.1.2.1 构造方式1.1.2.2 response对象的属性1）.data2）.status_code3）.content1.1.2.3 状态码1）信息告知 - 1xx2）成功 - 2xx3）…...

编程日记 2023/9/11 7:12:52

http直接调用paddlepaddle实现文字转语音,语音转文字

由于环境问题,折腾好久,记录下来,安装后使用还是很方便的 记录下来,方便自己,方便大家 1.安装 参考官方文档: mirrors / paddlepaddle / paddlespeech GitCode 2.启动server 参考官方文档: mirrors / paddlepaddle / paddlespeech GitCode 3.直接调用 参考官方文档: htt…...

编程日记 2023/9/11 7:11:51

9. xaml ComboBox控件

1.运行图像 2.运行源码 a.Xaml源码 <Grid Name="Grid1"><!--IsDropDownOpen="True" 默认就是打开的--><ComboBox x:Name="co...

编程日记 2023/9/11 7:10:49

【后量子密码】CRYSTALS-KYBER 算法（二）：密钥封装 KEM（附源码分析）

一、前言 Kyber 算法是一种满足 IND-CCA2 安全的密钥封装机制（key-encapsulation mechanism，KEM），其安全性依赖于MLWE 问题的困难性。Kyber 算法构建采用了两阶段的方法：首先引入了一种IND-CPA 安全的公钥加密方案，用于加密长度为32字节的消息，称之为Kyber.CPAPKE；然后…...

编程日记 2023/9/11 7:09:49

什么是原⼦操作？在 JUC 中有哪些原⼦类？

原子操作是一种在多线程环境下不会被中断的操作，它要么完全执行，要么完全不执行，不会出现中间状态。原子操作通常是对共享数据的操作，确保多个线程同时访问共享数据时不会导致数据不一致或损坏。 在Java中，java.util.concurrent 包提供了一组原子类，用于执行原子操作。以…...

编程日记 2023/9/11 7:08:47

2022年12月 C/C++（八级）真题解析#中国电子学会#全国青少年软件编程等级考试

C/C++编程（1~8级）全部真题・点这里 第1题：生理周期 人生来就有三个生理周期，分别为体力、感情和智力周期，它们的周期长度为23天、28天和33天。每一个周期中有一天是高峰。在高峰这天，人会在相应的方面表现出色。例如，智力周期的高峰，人会思维敏捷，精力容易高度集中。因…...

编程日记 2023/9/11 7:07:47

Hadoop的HDFS的集群安装部署

注意&#xff1a;主机名不要有/_等特殊的字符&#xff0c;不然后面会出问题。有问题可以看看第5点&#xff08;问题&#xff09;。 1、下载 1.1、去官网&#xff0c;点下载 下载地址&#xff1a;https://hadoop.apache.org/ 1.2、选择下载的版本 1.2.1、最新版 1.2.2、其…...

编程日记 2023/9/11 7:06:45

uniapp 在 onLoad 事件中 this.$refs 娶不到的问题

现象 本人想在主页面加载的时候调用子组件的方法。示例代码如下&#xff1a; 运行&#xff0c;发现 this.$refs 取不到。如下图所示&#xff1a; 解决方法&#xff0c;把onLoad 换为 onReady 就可以了。...

编程日记 2023/9/11 7:05:44

常見算法時間複雜度分析

当我们进行算法分析时&#xff0c;通常会忽略掉常数倍数的因子和低阶项&#xff0c;只考虑最高阶的项。这是因为在大规模问题下&#xff0c;较小的项和常数倍数的因子相对于最高阶的项来说变得可以忽略不计。 以下是一些常见的示例&#xff0c;说明了常数倍数的因子和高阶项对…...

编程日记 2023/9/11 7:04:43

自学Python05-学会Python中的函数定义

亲爱的同学们&#xff0c;今天我们将开始学习 Python 中的函数。函数就像一个魔法盒子&#xff0c;可以让我们在程序中执行一段代码&#xff0c;并且可以反复使用。这样&#xff0c;我们的程序就可以变得更加简洁和易于理解。现在&#xff0c;让我们一起来学习如何使用函数吧&a…...

编程日记 2023/9/11 7:03:42

设计模式-组合模式（Composite）

文章目录 前言一、组合模式的概念二、组合模式的优缺点1.优点2.缺点 三、组合模式的实现总结 前言 组合模式&#xff08;Composite Pattern&#xff09;是一种结构型设计模式&#xff0c;它允许你将对象组合成树状结构以表示“整体-部分”的层次结构。组合模式使得客户端可以统…...

编程日记 2023/9/11 7:02:39

架构核心技术之微服务架构

小熊学Java&#xff1a;https://www.javaxiaobear.cn/&#xff0c;文末有免费资源 本文我们来学习微服务的架构设计 主要包括如下内容。 单体系统的困难&#xff1a;编译部署困难、数据库连接耗尽、服务复用困难、新增业务困难。 微服务框架&#xff1a;Dubbo 和 Spring Clou…...

编程日记 2023/9/11 7:01:39

vue3 定时器-定义全局方法 vue+ts

1.创建ts文件 路径&#xff1a;src/utils/timer.ts 完整代码&#xff1a; import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...

编程新知 2025/8/9 0:31:20

Map相关知识

数据结构 二叉树 二叉树&#xff0c;顾名思义&#xff0c;每个节点最多有两个“叉”&#xff0c;也就是两个子节点&#xff0c;分别是左子 节点和右子节点。不过&#xff0c;二叉树并不要求每个节点都有两个子节点&#xff0c;有的节点只 有左子节点&#xff0c;有的节点只有…...

编程新知 2026/2/4 16:21:14

tree 树组件大数据卡顿问题优化

问题背景 项目中有用到树组件用来做文件目录&#xff0c;但是由于这个树组件的节点越来越多&#xff0c;导致页面在滚动这个树组件的时候浏览器就很容易卡死。这种问题基本上都是因为dom节点太多&#xff0c;导致的浏览器卡顿&#xff0c;这里很明显就需要用到虚拟列表的技术&…...

编程新知 2026/2/8 5:28:24

安宝特方案丨船舶智造的“AR+AI+作业标准化管理解决方案”（装配）

船舶制造装配管理现状&#xff1a;装配工作依赖人工经验&#xff0c;装配工人凭借长期实践积累的操作技巧完成零部件组装。企业通常制定了装配作业指导书&#xff0c;但在实际执行中&#xff0c;工人对指导书的理解和遵循程度参差不齐。 船舶装配过程中的挑战与需求 挑战 (1…...

编程新知 2026/2/6 2:16:18

AI病理诊断七剑下天山，医疗未来触手可及

一、病理诊断困局&#xff1a;刀尖上的医学艺术 1.1 金标准背后的隐痛 病理诊断被誉为"诊断的诊断"&#xff0c;医生需通过显微镜观察组织切片&#xff0c;在细胞迷宫中捕捉癌变信号。某省病理质控报告显示&#xff0c;基层医院误诊率达12%-15%&#xff0c;专家会诊…...

编程新知 2026/2/6 20:53:34

在Mathematica中实现Newton-Raphson迭代的收敛时间算法（一般三次多项式）

考察一般的三次多项式&#xff0c;以r为参数&#xff1a; p[z_, r_] : z^3 (r - 1) z - r; roots[r_] : z /. Solve[p[z, r] 0, z]&#xff1b; 此多项式的根为&#xff1a; 尽管看起来这个多项式是特殊的&#xff0c;其实一般的三次多项式都是可以通过线性变换化为这个形式…...

编程新知 2026/1/30 3:24:00

解读《网络安全法》最新修订，把握网络安全新趋势

《网络安全法》自2017年施行以来&#xff0c;在维护网络空间安全方面发挥了重要作用。但随着网络环境的日益复杂&#xff0c;网络攻击、数据泄露等事件频发&#xff0c;现行法律已难以完全适应新的风险挑战。 2025年3月28日&#xff0c;国家网信办会同相关部门起草了《网络安全…...

编程新知 2026/1/31 4:40:38

高防服务器价格高原因分析

高防服务器的价格较高&#xff0c;主要是由于其特殊的防御机制、硬件配置、运营维护等多方面的综合成本。以下从技术、资源和服务三个维度详细解析高防服务器昂贵的原因&#xff1a; 一、硬件与技术投入 大带宽需求 DDoS攻击通过占用大量带宽资源瘫痪目标服务器&#xff0c;因此…...

编程新知 2025/12/8 14:33:23

aurora与pcie的数据高速传输

设备&#xff1a;zynq7100&#xff1b; 开发环境&#xff1a;window&#xff1b; vivado版本&#xff1a;2021.1&#xff1b; 引言 之前在前面两章已经介绍了aurora读写DDR,xdma读写ddr实验。这次我们做一个大工程&#xff0c;pc通过pcie传输给fpga&#xff0c;fpga再通过aur…...

编程新知 2026/2/9 15:27:33

qt 双缓冲案例对比

双缓冲 1.双缓冲原理 单缓冲&#xff1a;在paintEvent中直接绘制到屏幕&#xff0c;绘制过程被用户看到 双缓冲&#xff1a;先在redrawBuffer绘制到缓冲区&#xff0c;然后一次性显示完整结果 代码结构 单缓冲&#xff1a;所有绘制逻辑在paintEvent中 双缓冲&#xff1a;绘制…...

编程新知 2025/11/10 4:13:08