RocketMQ消息是如何存储的？

大家好，我是锋哥。今天分享关于【RocketMQ消息是如何存储的？】面试题。希望对大家有帮助；

RocketMQ消息是如何存储的？

1000道 互联网大厂Java工程师 精选面试题-Java资源分享网

RocketMQ 使用了一个高性能、分布式的消息存储架构来处理消息的存储和持久化。消息的存储设计上考虑了 高吞吐量、高可用性、可靠性，以及对 消息的顺序性、分区和持久化的支持。以下是 RocketMQ 消息存储的核心概念和实现机制：

1. 存储的基本概念

RocketMQ 将消息存储在磁盘上，存储的方式基于 消息队列（Topic）、消息队列分区（Queue） 和 消息的日志存储格式，它的消息存储由多个 CommitLog 文件和 ConsumeQueue 文件组成。

CommitLog（提交日志）

• CommitLog 是 RocketMQ 的核心消息存储文件，所有消息都被追加到这个日志文件中。
• 每一条消息都会按顺序写入到 CommitLog 中，消息内容包括消息的元数据和消息体。
• RocketMQ 会维护多个 CommitLog 文件，通常使用循环写的方式。新的消息会被追加到当前文件，文件达到一定大小时会自动切换到下一个文件。

ConsumeQueue（消费队列）

• ConsumeQueue 是与消息的消费相关的文件，它记录了消息在 CommitLog 中的位置。每个 Topic 下的每个消息队列（Queue）都会有一个对应的 ConsumeQueue。
• 消费者会通过 ConsumeQueue 来读取消息的位置信息，而不需要每次都去查找 CommitLog 中的实际内容。ConsumeQueue 的大小通常会比 CommitLog 小很多，因为它只保存消息的偏移量和一些简单的元数据。

IndexFile（索引文件）

• IndexFile 用于加速消息的检索过程。RocketMQ 会定期维护一个基于 CommitLog 中消息的索引，索引文件记录了消息在 CommitLog 中的位置信息，这使得消费者能够快速定位到指定的消息。

2. 消息存储流程

消息存储的流程主要分为以下几个步骤：

1. 消息的写入（写入 CommitLog）

• 当生产者发送消息时，消息会首先被写入到 Broker 的 CommitLog 文件中。
• 写入的方式是追加到文件末尾，RocketMQ 采用的是 顺序写入，以提高磁盘 I/O 的效率。
• 每条消息被存储时，都会有一个独特的消息 ID，以及消息的相关元数据，如主题、标签、时间戳等。

2. 消息索引的建立（更新 IndexFile）

• RocketMQ 会在消息写入 CommitLog 的同时，生成一个索引文件，将消息在 CommitLog 中的偏移量和一些关键字（如消息 ID、主题等）记录到 IndexFile 中。
• 消息的索引文件支持基于主题、消息 ID 等条件进行快速查找。

3. 消费队列（ConsumeQueue）的创建与更新

• 每当消息被写入 CommitLog 后，消息的偏移量和基本信息会被写入到 ConsumeQueue。
• ConsumeQueue 文件的大小较小，存储的是每条消息的偏移量、消息大小等简单信息，消费者可以通过读取 ConsumeQueue 来获取消息位置信息，避免每次都读取完整的 CommitLog 文件。

4. 消息的过期和清理

• RocketMQ 使用 消息清理策略 来管理消息的过期。消息的过期时间可以根据配置来设置，当消息达到过期时间后，系统会定期清理不再需要的消息。
• 消息的清理主要通过两种方式：
  1. 过期删除：根据消息的时间戳判断是否过期。
  2. 日志文件滚动：当 CommitLog 文件的大小达到限制时，系统会自动切换到下一个文件，过期的文件会被标记并清理。

3. 存储的容错和高可用

RocketMQ 提供了 高可用性 和 容错机制 来确保消息不会丢失。具体包括以下几点：

1. 消息的复制（Broker 高可用）

• RocketMQ 支持消息的 主从复制。每个 Broker 可以有多个 副本，通过复制机制保证消息的高可用性。
• 当某个 Broker 挂掉时，其他副本可以继续提供消息的读写操作，避免消息丢失。

2. 持久化

• 所有消息在写入时都会 持久化 到磁盘上。即使 Broker 挂掉，消息也不会丢失。RocketMQ 使用了 强一致性 和 事务消息 来保证在分布式环境下消息存储的可靠性。

3. 消息确认机制

• 生产者发送消息时，可以设置消息是否需要确认（ACK）。如果消息成功写入 CommitLog，Broker 会确认该消息，并返回给生产者。

4. RocketMQ 存储的文件结构

RocketMQ 的存储结构大致如下：

/home/rocketmq/store
├── commitlog               # 存储所有消息的 CommitLog 文件
├── consumequeue            # 存储每个消息队列的消息位置信息
├── index                   # 存储消息索引信息
├── translog                # 存储事务日志
├── checkpoint              # 存储消息偏移量的元数据
└── lock                    # 存储 Broker 锁文件

• commitlog：消息的原始存储位置。
• consumequeue：每个 Topic 下，每个 Queue 对应的消费队列文件。
• index：用于加速消息查询的索引文件。
• translog：存储事务相关的信息。
• checkpoint：存储有关消费位置和进度的文件。
• lock：锁文件用于 Broker 启动时进行加锁。

5. 总结

RocketMQ 的消息存储设计非常注重高效性、可扩展性和可靠性。通过 CommitLog、ConsumeQueue、IndexFile 等多种文件机制，RocketMQ 提供了 高吞吐量 的消息存储能力，并且通过 分布式复制 和 事务消息 等特性保证了消息的可靠性和一致性。此外，RocketMQ 还设计了强大的 过期和清理机制，帮助系统自动管理存储的消息，确保长时间运行的系统性能和稳定性。