当前位置： 首页 > news >正文

Kafka3.0.0版本——消费者（offset的默认维护位置）

news 2025/8/29 3:56:18

目录

    • 一、offset的默认维护位置
      • 1.1、offset的默认维护位置概述
      • 1.2、offset的默认维护位置图解
    • 二、消费者offset的案例

一、offset的默认维护位置

1.1、offset的默认维护位置概述

  • Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中。
  • 从Kafka0.9版本开始，consumer默认将offset保存在Kafka一个内置的topic中，该topic为__consumer_offsets
  • __consumer_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic进行compact，也就是每个 group.id+topic+分区号就保留最新数据。
  • __consumer_offsets 为 Kafka 中的 topic，那就可以通过消费者进行消费。

1.2、offset的默认维护位置图解

在这里插入图片描述

二、消费者offset的案例

  • 在配置文件 config/consumer.properties 中添加配置 exclude.internal.topics=false，默认是 true，表示不能消费系统主题。为了查看该系统主题数据，所以该参数修改为 false。
    在这里插入图片描述
    在这里插入图片描述

  • 重启kafka服务。
    在这里插入图片描述

  • 采用命令行方式，创建一个新的 topic。

    bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --create --partitions 2 --replication-factor 2 --topic offsetTopic

    在这里插入图片描述

  • 启动生产者往 offsetTopic 生产数据。

    bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic offsetTopic

    在这里插入图片描述

  • 启动消费者消费 offsetTopic 数据。
    注意：指定消费者组名称，更好观察数据存储位置（key 是 group.id+topic+分区号）。

    bin/kafka-console-consumer.sh  --bootstrap-server 192.168.136.27:9092 --topic offsetTopic --group test

    在这里插入图片描述

  • 查看消费者消费主题__consumer_offsets。

    bin/kafka-console-consumer.sh --topic __consumer_offsets  --bootstrap-server  192.168.136.29:9092  --consumer.config  config/consumer.properties  --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --from-beginning

    在这里插入图片描述
    在这里插入图片描述

相关文章：

Kafka3.0.0版本——消费者（offset的默认维护位置）

目录 一、offset的默认维护位置1.1、offset的默认维护位置概述1.2、offset的默认维护位置图解 二、消费者offset的案例 一、offset的默认维护位置 1.1、offset的默认维护位置概述 Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中。从Kafka0.9版本开始&am…...

编程日记 2023/9/11 7:21:05

Wireshark技巧[监听串口包]

监听串口包 本文摘录于：https://blog.csdn.net/qq_20405005/article/details/79652927只是做学习备份之用，绝无抄袭之意，有疑惑请联系本人！ 这里要保证安装了USBpcap: 打开USBpcap后一半都要输入过滤条件,否则USB太多数据了,比如…...

编程日记 2023/9/11 7:20:01

安全运营中心即服务提供商评估

如果组织当前没有自己的安全运营中心(SOC)，那么可能需要考虑如何在不从头开始构建的情况下获得安全运营中心(SOC)。自己构建安全运营中心(SOC)的费用可能会非常昂贵，考虑到工作人员全天候运营的配置成本，就更是如此。在过去几年中&#xff0c…...

编程日记 2023/9/11 7:19:00

算法通关村第十三关——幂运算问题解析

前言 幂运算为常见的数学运算，形式为 a b a^b ab ，其中a为底数，b为指数， 力扣中，幂运算相关的问题主要是判断一个数是不是特定正整数的整数次幂，以及快速幂的处理。 1.求2的幂 力扣231题，给…...

编程日记 2023/9/11 7:17:58

Python 之使用Numpy库来加载Numpy（.npy）文件并检查其内容

文章目录 总的介绍data.dtypedata.shapedata.ndimdata.size 总的介绍 要判断一个Numpy（.npy）文件的数据集类型，你可以使用Python中的Numpy库来加载该文件并检查其内容。以下是一些常见的步骤： 导入Numpy库： 首先&…...

编程日记 2023/9/11 7:16:56

C#学习系列之UDP同端口收发问题

C#学习系列之UDP同端口收发问题 前言解决办法关于JoinMulticastGroup总结 前言 想测试自己的程序问题，建立了两个UDP程序，一个往端口中接到数就传出去，另一个从这个端口接数据来解析。 出现的问题是 每次打开端口，另一个程序就无…...

编程日记 2023/9/11 7:15:55

SpringMVC之文件上传下载以及jrebel的使用

目录 一、文件上传 1.1 导入依赖 1.2 配置文件上传解析器 1.3 配置服务器存放文件地址 1.3.1 点击编辑Configurations 1.3.2 将项目部署至tomcat服务器上 1.3.3 配置相对路径 1.4 导入PropertiesUtil工具类 1.5 编写resource.properties 1.6 添加sql 1.7 编写PageCo…...

编程日记 2023/9/11 7:14:54

基于Fomantic UI Web构建 个人导航站点网站源码 网站技术导航源码

BYR-Navi-master好看有个性的网站技术导航源码 该网站基于Fomantic UI Web框架构建，整个项目的设计和构建具有高度的配置和定制灵活性。 整体风格比较适合个人导航站点使用 搜索框输入关键词后，点击上方搜索引擎图标可跳转打开对应搜索引擎搜索结果&am…...

编程日记 2023/9/11 7:13:53

DRF02-请求响应与路由

文章目录 1. http请求响应1.1. 请求与响应1.1.1 Request1.1.1.1 常用属性1）.data2）.query_params3）request._request基本使用1.1.2 Response1.1.2.1 构造方式1.1.2.2 response对象的属性1）.data2）.status_code3）.content1.1.2.3 状态码1）信息告知 - 1xx2）成功 - 2xx3）…...

编程日记 2023/9/11 7:12:52

http直接调用paddlepaddle实现文字转语音,语音转文字

由于环境问题,折腾好久,记录下来,安装后使用还是很方便的 记录下来,方便自己,方便大家 1.安装 参考官方文档: mirrors / paddlepaddle / paddlespeech GitCode 2.启动server 参考官方文档: mirrors / paddlepaddle / paddlespeech GitCode 3.直接调用 参考官方文档: htt…...

编程日记 2023/9/11 7:11:51

9. xaml ComboBox控件

1.运行图像 2.运行源码 a.Xaml源码 <Grid Name="Grid1"><!--IsDropDownOpen="True" 默认就是打开的--><ComboBox x:Name="co...

编程日记 2023/9/11 7:10:49

【后量子密码】CRYSTALS-KYBER 算法（二）：密钥封装 KEM（附源码分析）

一、前言 Kyber 算法是一种满足 IND-CCA2 安全的密钥封装机制（key-encapsulation mechanism，KEM），其安全性依赖于MLWE 问题的困难性。Kyber 算法构建采用了两阶段的方法：首先引入了一种IND-CPA 安全的公钥加密方案，用于加密长度为32字节的消息，称之为Kyber.CPAPKE；然后…...

编程日记 2023/9/11 7:09:49

什么是原⼦操作？在 JUC 中有哪些原⼦类？

原子操作是一种在多线程环境下不会被中断的操作，它要么完全执行，要么完全不执行，不会出现中间状态。原子操作通常是对共享数据的操作，确保多个线程同时访问共享数据时不会导致数据不一致或损坏。 在Java中，java.util.concurrent 包提供了一组原子类，用于执行原子操作。以…...

编程日记 2023/9/11 7:08:47

2022年12月 C/C++（八级）真题解析#中国电子学会#全国青少年软件编程等级考试

C/C++编程（1~8级）全部真题・点这里 第1题：生理周期 人生来就有三个生理周期，分别为体力、感情和智力周期，它们的周期长度为23天、28天和33天。每一个周期中有一天是高峰。在高峰这天，人会在相应的方面表现出色。例如，智力周期的高峰，人会思维敏捷，精力容易高度集中。因…...

编程日记 2023/9/11 7:07:47

Hadoop的HDFS的集群安装部署

注意&#xff1a;主机名不要有/_等特殊的字符&#xff0c;不然后面会出问题。有问题可以看看第5点&#xff08;问题&#xff09;。 1、下载 1.1、去官网&#xff0c;点下载 下载地址&#xff1a;https://hadoop.apache.org/ 1.2、选择下载的版本 1.2.1、最新版 1.2.2、其…...

编程日记 2023/9/11 7:06:45

uniapp 在 onLoad 事件中 this.$refs 娶不到的问题

现象 本人想在主页面加载的时候调用子组件的方法。示例代码如下&#xff1a; 运行&#xff0c;发现 this.$refs 取不到。如下图所示&#xff1a; 解决方法&#xff0c;把onLoad 换为 onReady 就可以了。...

编程日记 2023/9/11 7:05:44

常見算法時間複雜度分析

当我们进行算法分析时&#xff0c;通常会忽略掉常数倍数的因子和低阶项&#xff0c;只考虑最高阶的项。这是因为在大规模问题下&#xff0c;较小的项和常数倍数的因子相对于最高阶的项来说变得可以忽略不计。 以下是一些常见的示例&#xff0c;说明了常数倍数的因子和高阶项对…...

编程日记 2023/9/11 7:04:43

自学Python05-学会Python中的函数定义

亲爱的同学们&#xff0c;今天我们将开始学习 Python 中的函数。函数就像一个魔法盒子&#xff0c;可以让我们在程序中执行一段代码&#xff0c;并且可以反复使用。这样&#xff0c;我们的程序就可以变得更加简洁和易于理解。现在&#xff0c;让我们一起来学习如何使用函数吧&a…...

编程日记 2023/9/11 7:03:42

设计模式-组合模式（Composite）

文章目录 前言一、组合模式的概念二、组合模式的优缺点1.优点2.缺点 三、组合模式的实现总结 前言 组合模式&#xff08;Composite Pattern&#xff09;是一种结构型设计模式&#xff0c;它允许你将对象组合成树状结构以表示“整体-部分”的层次结构。组合模式使得客户端可以统…...

编程日记 2023/9/11 7:02:39

架构核心技术之微服务架构

小熊学Java&#xff1a;https://www.javaxiaobear.cn/&#xff0c;文末有免费资源 本文我们来学习微服务的架构设计 主要包括如下内容。 单体系统的困难&#xff1a;编译部署困难、数据库连接耗尽、服务复用困难、新增业务困难。 微服务框架&#xff1a;Dubbo 和 Spring Clou…...

编程日记 2023/9/11 7:01:39

日语AI面试高效通关秘籍：专业解读与青柚面试智能助攻

在如今就业市场竞争日益激烈的背景下&#xff0c;越来越多的求职者将目光投向了日本及中日双语岗位。但是&#xff0c;一场日语面试往往让许多人感到步履维艰。你是否也曾因为面试官抛出的“刁钻问题”而心生畏惧&#xff1f;面对生疏的日语交流环境&#xff0c;即便提前恶补了…...

编程新知 2025/8/25 11:18:49

地震勘探——干扰波识别、井中地震时距曲线特点

目录 干扰波识别反射波地震勘探的干扰波 井中地震时距曲线特点 干扰波识别 有效波&#xff1a;可以用来解决所提出的地质任务的波&#xff1b;干扰波&#xff1a;所有妨碍辨认、追踪有效波的其他波。 地震勘探中&#xff0c;有效波和干扰波是相对的。例如&#xff0c;在反射波…...

编程新知 2025/8/25 12:04:44

Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误

HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误&#xff0c;它们的含义、原因和解决方法都有显著区别。以下是详细对比&#xff1a; 1. HTTP 406 (Not Acceptable) 含义&#xff1a; 客户端请求的内容类型与服务器支持的内容类型不匹…...

编程新知 2025/8/20 1:45:17

ubuntu搭建nfs服务centos挂载访问

在Ubuntu上设置NFS服务器 在Ubuntu上&#xff0c;你可以使用apt包管理器来安装NFS服务器。打开终端并运行&#xff1a; sudo apt update sudo apt install nfs-kernel-server创建共享目录 创建一个目录用于共享&#xff0c;例如/shared&#xff1a; sudo mkdir /shared sud…...

编程新知 2025/8/27 13:05:41

《Qt C++ 与 OpenCV：解锁视频播放程序设计的奥秘》

引言：探索视频播放程序设计之旅 在当今数字化时代，多媒体应用已渗透到我们生活的方方面面，从日常的视频娱乐到专业的视频监控、视频会议系统，视频播放程序作为多媒体应用的核心组成部分，扮演着至关重要的角色。无论是在个人电脑、移动设备还是智能电视等平台上，用户都期望…...

编程新知 2025/8/22 3:04:48

MySQL 隔离级别：脏读、幻读及不可重复读的原理与示例

一、MySQL 隔离级别 MySQL 提供了四种隔离级别，用于控制事务之间的并发访问以及数据的可见性，不同隔离级别对脏读、幻读、不可重复读这几种并发数据问题有着不同的处理方式，具体如下： 隔离级别脏读不可重复读幻读性能特点及锁机制读未提交（READ UNCOMMITTED）允许出现允许…...

编程新知 2025/8/7 12:20:58

vue3 字体颜色设置的多种方式

在Vue 3中设置字体颜色可以通过多种方式实现&#xff0c;这取决于你是想在组件内部直接设置&#xff0c;还是在CSS/SCSS/LESS等样式文件中定义。以下是几种常见的方法&#xff1a; 1. 内联样式 你可以直接在模板中使用style绑定来设置字体颜色。 <template><div :s…...

编程新知 2025/8/22 4:33:54

linux 下常用变更-8

1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行&#xff0c;YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID&#xff1a; YW3…...

编程新知 2025/8/28 19:27:50

多模态大语言模型arxiv论文略读（108）

CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文标题&#xff1a;CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文作者&#xff1a;Sayna Ebrahimi, Sercan O. Arik, Tejas Nama, Tomas Pfister ➡️ 研究机构: Google Cloud AI Re…...

编程新知 2025/8/26 23:41:49

项目部署到Linux上时遇到的错误（Redis，MySQL，无法正确连接，地址占用问题）

Redis无法正确连接 在运行jar包时出现了这样的错误 查询得知问题核心在于Redis连接失败&#xff0c;具体原因是客户端发送了密码认证请求&#xff0c;但Redis服务器未设置密码 1.为Redis设置密码&#xff08;匹配客户端配置&#xff09; 步骤&#xff1a; 1&#xff09;.修…...

编程新知 2025/8/22 3:17:46