当前位置： 首页 > article >正文

RocketMQ及和Kafka的区别

article 2026/4/23 5:30:57

目录

  • 1 从场景入手
  • 2 RocketMQ是什么？
  • 3 RocketMQ及和Kafka的区别
    • 3.1 在架构上做了减法
      • 3.1.1 简化协调节点
      • 3.1.2 简化分区
      • 3.1.3 底层存储
        • 3.1.3.1 Kafka底层存储
        • 3.1.3.1 RocketMQ底层存储
      • 3.1.4 简化备份模型
        • 3.1.4.1 Kafka备份模型
        • 3.1.4.2 RocketMQ备份模型
      • 3.1.5 RocketMq架构
    • 3.2 在功能上做加法
      • 3.2.1 消息过滤
      • 3.2.2 支持事务
      • 3.2.3 加入延时队列
      • 3.2.4 加入死信队列
      • 3.2.5 消息回溯

1 从场景入手

在这里插入图片描述

假设A服务过来一个请求，但是不想让B服务马上处理，需要等待一段时间才做处理，比如定时外卖的场景。
在这里插入图片描述
那如何处理上述问题，那就可以在服务之间加一个中间层。

2 RocketMQ是什么？

是国产自研的消息队列，是Apache的顶级项目
在这里插入图片描述
和Kafka一样都是消息队列

3 RocketMQ及和Kafka的区别

其实就是RocketMQ在Kafka的架构上做了一些架构上的调整
在这里插入图片描述

总结：在架构上做了减法，在功能上做了加法

3.1 在架构上做了减法

3.1.1 简化协调节点

zookeeper在Kafka架构中会和broker通信，维护Kafka信息，一个新的broker加入后，其他broker会立马感知它的加入。

在这里插入图片描述
像这种在分布式结构下让多个实例同时获取同一份信息的服务就是所谓的分布式协调服务
在这里插入图片描述

zookeeper不仅可用于服务注册和发现，还可以用于分布式锁管理，配置管理等场景。
Kafka只用到部分场景，有点杀鸡用牛刀了！

下面是rocketMq的架构：
在这里插入图片描述

所以RocketMQ把zookeeper去掉，使用nameServer，用更轻量的方式管理消息队列的集群信息。

后来Kafka也发现了zookeeper过重的问题，从2.8.0版本移除zookeeper，通过broker之间加入一致性算法Raft实现同样的效果。

下面是Kafka的架构：
在这里插入图片描述
这就是所谓的Kraft或Quorum模式

3.1.2 简化分区

RocketMQ也会拆分多个分区，不叫partition，叫queue
在这里插入图片描述
kafka的partition中会存入完整消息，但是RocketMQ的queue中只存入一些简要信息，比如消息偏移offset，而消息的完整信息放到commitLog里，通过offset可以定位到commitLog的某条消息。

在这里插入图片描述
在Kafka中消费者只需要直接从partition中读取消息，然而在RocketMQ中，消费者需要先从queue中读到offset的值，再跑到commitLog上将完整的数据读取出来，也就是读取了两次
在这里插入图片描述
看起来Kafka的设计更高效，但是为何RocketMQ要用此设计？

3.1.3 底层存储

3.1.3.1 Kafka底层存储

在这里插入图片描述

Kafka下有partition，每个partition是由多个segment组成的，生产者发送数据也就是在往segment中写入数据，就是往磁盘做写入，磁盘的顺序写入会比随机写入快很多，性能差距很大，可高达几十倍。
为了提升性能，Kafka对于每个segment的写入也都是顺序写。
在这里插入图片描述

但是当topic变多了，Kafka下的partition也会增多，对应的segment文件也会变多，同时写多个topic下的partition就相当于写多个文件，不同的topic下的文件存放在磁盘的不同地方，这样的话即使segment内部是顺序写，但是针对于不同topic下的文件是随机写。

3.1.3.1 RocketMQ底层存储

在这里插入图片描述

为了缓解同时写多个文件带来的随机写的问题，RocketMQ将单个broker地下的多个topic数据，全部写到“一个”逻辑文件CommitLog上，这就消除了写多个文件的随机写问题，将所有写操作变成了顺序写，提升了RocketMQ在多topic场景下的写性能。

3.1.4 简化备份模型

3.1.4.1 Kafka备份模型

在这里插入图片描述
底层就是同步segment数据

3.1.4.2 RocketMQ备份模型

在这里插入图片描述
在这里插入图片描述

RocketMQ直接同步commitLog数据，以broker为单位区分主从

3.1.5 RocketMq架构

在这里插入图片描述

3.2 在功能上做加法

3.2.1 消息过滤

在这里插入图片描述

Kafka支持通过topic将数据进行分类
在这里插入图片描述
场景：
当我们有如上图4、5、6、7一共4条数据，他们有不同类型，如果我们只想要vip6的数据。

kafka需要消费topic为用户数据的所有消息，再将vip6的用户过滤出来。
RocketMQ支持给用户数据打tag，消费者根据tag过滤所需要的数据，消费者就可以只消费这部分数据，就剩下了消费者过滤数据的资源消耗。
在这里插入图片描述

3.2.2 支持事务

Kafka支持事务，保证发送的一批消息同时成功或者同时失败，
但是我们写业务代码的时候，希望执行一些自定义逻辑和生产者发送消息这两件事要么同时成功要么同时失败，这是RocketMQ支持的事务能力
在这里插入图片描述

3.2.3 加入延时队列

当我们希望消息被投递出去之后，消费者不是立马消费而是过一段时间再去消费，也就是所谓的延时消息，这就要用到RocketMQ的延时队列，而Kafka就需要程序员自己实现类似的功能。

3.2.4 加入死信队列

消费消息是有可能失败的，失败后一般可以设置重试，如果多次重试失败，RocketMQ会将消息放在一个专门的队列中，方便我们单独做处理，这种专门存放失败消息的队列就是死信队列，kafka不支持，需要程序员实现。
在这里插入图片描述

3.2.5 消息回溯

在这里插入图片描述

Kafka支持从某个地方开始消费，即offset，后来也支持时间（0.10.1版本后）
在这里插入图片描述

RocketMQ不仅支持调整offset，还支持调整时间

相关文章：

RocketMQ及和Kafka的区别

目录 1 从场景入手2 RocketMQ是什么？3 RocketMQ及和Kafka的区别3.1 在架构上做了减法3.1.1 简化协调节点3.1.2 简化分区3.1.3 底层存储3.1.3.1 Kafka底层存储3.1.3.1 RocketMQ底层存储 3.1.4 简化备份模型3.1.4.1 Kafka备份模型3.1.4.2 RocketMQ备份模型 3.1.5 Rock…...

编程日记 2026/4/20 21:00:20

设置ollama接口能外部访问

为了配置Ollama以允许外网访问，你可以按照以下步骤进行操作： ‌确认Ollama服务已正确安装并运行‌： 使用以下命令检查Ollama服务的状态： bash Copy Code systemctl status ollama如果服务未运行，使用以下命令启动它&…...

编程日记 2026/1/10 0:56:08

数组_移除元素

数组_移除元素 一、leetcode-27二、题解1.代码2.思考 一、leetcode-27 移除元素 给你一个数组 nums 和一个值 val，你需要 原地 移除所有数值等于 val 的元素。元素的顺序可能发生改变。然后返回 nums 中与 val 不同的元素的数量。 假设 nums 中不等于 val 的元素数…...

编程日记 2026/4/12 7:59:04

【含文档+PPT+源码】基于微信小程序的乡村振兴民宿管理系统

项目介绍 本课程演示的是一款基于微信小程序的乡村振兴民宿管理系统，主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 1.包含：项目源码、项目文档、数据库脚本、软件工具等所有资料 2.带你从零开始部署运行本套系统 3.该…...

编程日记 2026/4/8 16:52:27

macOs在vscode编辑器的cmd中,比如npm i 总是提示权限不够需要sudo

mac Os Apple M2 Pro在vscode 编辑器的cmd中比如npm i 总是提示权限不够，总要sudo npm i : 报错如下： npm warn peer webpack"^2.0.0 || ^3.0.0 || ^4.0.0" from the root project npm error code EACCES npm error syscall open npm error p…...

编程日记 2026/2/18 20:38:15

Vim 退出编辑模式

1. 按 Esc 键 按下键盘上的 Esc 键是最常见和推荐的方式。这会将光标从插入模式切换回普通模式。按下 Esc 键后，你就可以使用普通模式下的命令进行编辑。 2. 使用 Ctrl [ 在一些终端中，你也可以使用组合键 Ctrl [ 来模拟按下 Esc 键的效果。这对于一…...

编程日记 2026/4/23 5:14:59

【流程图】在 .NET (WPF 或 WinForms) 中实现流程图中的连线算法

在 .NET (WPF 或 WinForms) 中实现流程图中的连线算法，通常涉及 图形绘制 和 路径计算。常见的连线方式包括 直线、折线 和 贝塞尔曲线。以下是几种方法的介绍和示例代码。 1. 直线连接（最简单） 适用场景： 两个节点之间没有障碍…...

编程日记 2026/4/4 20:45:59

Linux查找占用的端口,并杀死进程的简单方法

在Linux系统管理中，识别并管理占用特定端口的进程是一项常见且重要的任务。以下是优化过的步骤指南，帮助您高效地完成这一操作，同时提供了一个简洁的命令参考表。 Linux下识别并终止占用端口的进程 1. 探寻端口占用者 使用 lsof命令 lsof…...

编程日记 2026/4/19 4:30:11

【python语言应用】最新全流程Python编程、机器学习与深度学习实践技术应用（帮助你快速了解和入门 Python）

近年来，人工智能领域的飞速发展极大地改变了各个行业的面貌。当前最新的技术动态，如大型语言模型和深度学习技术的发展，展示了深度学习和机器学习技术的强大潜力，成为推动创新和提升竞争力的关键。特别是PyTorch，凭借其…...

编程日记 2026/2/19 23:42:20

Datawhale Ollama教程笔记3

小白的看课思路： Ollama REST API 是什么？ 想象一下，你有一个智能的“盒子”（Ollama），里面装了很多聪明的“小助手”（语言模型）。如果你想让这些“小助手”帮你完成一些任务&#…...

编程日记 2026/4/20 21:00:30

基于JavaWeb开发的Java+Spring+vue+element实现旅游信息管理平台系统

基于JavaWeb开发的JavaSpringvueelement实现旅游信息管理平台系统 🍅 作者主页 网顺技术团队 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 文末获取源码联系方式 📝 🍅 查看下方微信号获取联系方式 承接各…...

编程日记 2026/4/22 8:14:56

基础网络详解4--HTTP CookieSession 思考 2

一、Cookie与Set-Cookie 1. Cookie 定义: Cookie 是客户端（通常是浏览器）存储的一小段数据，由服务器通过 Set-Cookie 响应头设置，并在后续请求中通过 Cookie 请求头发送回服务器。作用: 用于在客户端保存状态信息，例…...

编程日记 2026/2/20 15:03:34

2.14日学习总结

题目一：接雨水问题 1.题目描述：给定一个数组 height 表示一个地形的高度图，数组中的每个元素代表每个宽度为 1 的柱子的高度。计算按此排列的柱子，下雨之后能接多少雨水。 2.示例：输入 height [0,1,0,2,1,0,1,3,2,1…...

编程日记 2026/4/14 9:23:54

【技术产品】DS三剑客：DeepSeek、DataSophon、DolphineSchduler浅析

引言 在大数据与云原生技术快速发展的时代，开源技术成为推动行业进步的重要力量。本文将深入探讨三个备受瞩目的开源产品组件：DeepSeek、DataSophon 和 DolphinScheduler，分别从产品定义、功能、技术架构、应用场景、优劣势及社区活跃度等方面…...

编程日记 2026/4/13 14:33:57

Go 语言里中的堆与栈

在 Go 语言里，堆和栈是内存管理的两个重要概念，它们在多个方面存在明显差异： 1. 内存分配与回收方式 栈 分配：Go 语言中，栈内存主要用于存储函数的局部变量和调用信息。当一个函数被调用时，Go 会自动为其…...

编程日记 2025/8/19 5:48:56

云计算实训室解决方案（2025年最新版）

一、中高职及本科院校在云计算专业建设中面临的挑战 随着大数据、信息安全、人工智能等新兴信息技术产业的快速发展，相关领域人才需求激增，许多本科及职业院校纷纷开设云计算及相关专业方向。 然而，大多数院校在专业建设过程中面临以下困难&…...

编程日记 2026/4/20 21:00:31

我的新书《青少年Python趣学编程（微课视频版）》出版了！

🎉 激动人心的时刻来临啦！ 🎉 小伙伴们久等了，我的第一本新书 《青少年Python趣学编程（微课视频版）》 正式出版啦！ 📚✨ 在这个AI时代，市面上的Python书籍常常过于枯燥&…...

编程日记 2026/4/10 19:36:13

网络安全要学python 、爬虫吗

网络安全其实并不复杂，只是比普通开发岗位要学习的内容多一点。无论是有过编程基础还是零基础的都可以学习的。网络安全目前可就业的岗位从技术上可分为两部分：web安全和二进制逆向安全。web安全是网络安全的入门方向，内容简单，就…...

编程日记 2026/4/18 4:32:37

DBSCAN 基于密度的空间带噪聚类法

DBSCAN 基于密度的空间带噪聚类法 DBSCAN（Density - Based Spatial Clustering of Applications with Noise）即基于密度的空间聚类算法，它是一种典型的密度聚类算法，以下从核心概念、算法步骤、优缺点及应用场景等方面进行解释。…...

编程日记 2026/4/16 18:02:14

Spring Security，servlet filter，和白名单之间的关系

首先，Servlet Filter是Java Web应用中的基础组件，用于拦截请求和响应，进行预处理和后处理。它们在处理HTTP请求时处于最外层，可以执行日志记录、身份验证、授权等操作。白名单机制通常指允许特定IP、用户或请求通过的安全策略&…...

编程日记 2026/2/17 0:06:28

深入理解Java反射机制 —— 构建灵活、动态的后端应用

一、引言 在Java后端开发中，反射机制是一项极具威力的技术。它允许程序在运行时动态加载类、调用方法以及访问属性，从而使得代码具有更高的灵活性和扩展性。本文将从反射的基本原理、核心API、实际应用场景到使用时的注意事项，详细探讨如何在…...

编程日记 2026/2/15 21:16:06

Python基于Django的漏洞扫描系统【附源码、文档说明】

博主介绍：✌Java老徐、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇&…...

编程日记 2026/4/18 1:08:41

或非门组成的SR锁存器真值表相关问题

PS：主要是给大家抛砖引玉，不喜勿喷。 问题描述：或非门组成的SR锁存器，为什么当SD和RD等于0时候的真值表一个是Q0，Q0.一个结果是Q1，Q1？...

编程日记 2026/4/16 18:40:29

深度学习框架探秘｜TensorFlow vs PyTorch：AI 框架的巅峰对决

在深度学习框架中，TensorFlow 和 PyTorch 无疑是两大明星框架。前面两篇文章我们分别介绍了 TensorFlow（点击查看） 和 PyTorch（点击查看）。它们引领着 AI 开发的潮流，吸引着无数开发者投身其中。但这两大框…...

编程日记 2026/4/17 2:00:51

如何测试和验证CVE-2024-1430：Netgear R7000 路由器信息泄露漏洞分析

CVE-2024-1430 是一个影响 Netgear R7000 路由器的安全漏洞，漏洞来源于该路由器 Web 管理界面的信息泄露问题。攻击者通过访问 /currentsetting.htm 文件，可能泄露敏感信息，如 Wi-Fi 密码等。 在测试和验证 CVE-2024-1430 时，您需…...

编程日记 2026/2/18 3:02:58

MongoDB 基本操作

一、数据库操作 1. 切换或创建数据库 使用use命令切换到指定数据库，若该数据库不存在，在首次插入数据时会自动创建。 use myDatabase 2. 查看所有数据库 使用show dbs命令查看 MongoDB 实例中的所有数据库。 show dbs 3. 删除当前数据库 使用db.…...

编程日记 2026/3/22 6:00:53

【前端框架】Vue3 面试题深度解析

本文详细讲解了VUE3相关的面试题，从基础到进阶到高级，分别都有涉及，希望对你有所帮助！ 基础题目 1. 简述 Vue3 与 Vue2 相比有哪些主要变化？ 答案： 响应式系统：Vue2 使用 Object.definePrope…...

编程日记 2026/4/22 7:42:27

springboot中使用log4j2

安装依赖pom.xml <!--排除logback的依赖--> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId><exclusions><exclusion><groupId>org.springframework.boot</…...

编程日记 2026/4/10 16:22:46

GRN前沿：DGCGRN：基于有向图卷积网络的基因调控网络推理

1.论文原名&#xff1a;Inference of gene regulatory networks based on directed graph convolutional networks 2.发表日期&#xff1a;2024 DGCGRN框架 中心节点和节点的构建 局部增强策略 1. 问题背景 在基因调控网络中&#xff0c;许多节点的连接度较低&#xff08;即…...

编程日记 2026/4/20 21:00:26

DeepSeek崛起：中国AI产业的颠覆者与重构者

当DeepSeek以"中国版ChatGPT"的标签横空出世时&#xff0c;这个诞生于杭州的AI新贵仅用三个月时间就完成了从行业黑马到颠覆者的蜕变。其开源大模型DeepSeek-R1在HuggingFace开源大模型排行榜的登顶&#xff0c;不仅意味着技术指标的超越&#xff0c;更预示着中国AI产…...

编程日记 2026/4/21 4:54:24