RabbitMQ高级篇之MQ可靠性 数据持久化

消息丢失的原因分析

RabbitMQ 默认使用内存存储消息，但这种方式带来了两个主要问题：

• 内存不是永久存储：内存中的数据会随着 RabbitMQ 的重启丢失。如果消息存储在内存中，一旦 MQ 宕机或重启，所有未持久化的消息都会丢失。
• 内存空间有限：如果消费者处理消息的速度较慢，而生产者发送消息的速度过快，MQ 会堆积大量的消息，导致内存占满，最终可能导致 MQ 阻塞。当内存满时，RabbitMQ 会尝试将内存中的部分消息写入磁盘，但此操作非常耗时，会导致 MQ 无法处理更多的消息，进而发生阻塞。

内存存储的缺陷

• 消息丢失：因为内存不是持久化存储，当 RabbitMQ 重启时，内存中的所有数据（包括交换机、队列、消息）都将丢失。
• 性能下降与阻塞：内存满时，消息需要被转移到磁盘，磁盘的写入速度慢，导致消息处理速度下降。如果消息堆积，MQ 会阻塞，不能继续接收或处理消息，严重影响系统的实时性。

如何确保 RabbitMQ 的消息可靠性？

要确保消息不丢失并且能够持续处理，需要采取数据持久化的措施。数据持久化意味着将消息、队列和交换机的元数据存储在磁盘中，确保即使 RabbitMQ 重启，消息也不会丢失。

数据持久化的三个方面

为了确保数据在 RabbitMQ 中的可靠性，需要对以下三方面进行持久化配置：

1. 交换机持久化：

• 换机在 RabbitMQ 中负责路由消息。如果交换机丢失，消息会丢失，因此交换机必须持久化。
• 默认情况下，RabbitMQ 创建的交换机是持久化的。可以在创建交换机时，通过设置 durable=true 来指定交换机的持久化属性。

2. 队列持久化：

• 队列存储消息。如果队列丢失，所有未处理的消息都会丢失，因此队列也必须持久化。
• 与交换机类似，队列的 durable 属性应该设置为 true，这样队列会在 RabbitMQ 重启后保留下来。

3. 消息持久化：

• 即使交换机和队列是持久化的，如果消息本身没有被持久化，消息依然会丢失。
• 在发送消息时，通过设置 delivery mode=persistent 来将消息标记为持久化。这样，消息就会被存储到磁盘中，即使 RabbitMQ 重启，消息也不会丢失。
  
  
  

持久化对性能的影响

• 非持久化消息：
  • 如果消息没有设置持久化，RabbitMQ 会把消息存储在内存中。当内存满时，它会将数据写入磁盘（称为 paged out），这会导致性能下降，因为磁盘写入操作较慢。
  • 这种模式下，MQ 可能会出现阻塞，即消息发送速率骤降，甚至停止处理消息。
• 持久化消息：
  • 如果消息是持久化的，即每发送一条消息都立即写入磁盘，不会等待内存满了才写。这种方式保证了消息不会丢失，同时避免了 paged out 导致的阻塞问题。
  • 持久化消息的写入速度相对较慢，但性能波动较小，不会出现阻塞。虽然会有一些性能开销，但不会像非持久化消息那样，处理速度大幅下降。

持久化实验验证

• 非持久化消息发送：
  • 当发送大量（例如 100 万条）非持久化消息时，如果队列或内存满了，RabbitMQ 会将内存中的消息写入磁盘。在此过程中，消息处理速度会显著下降，甚至停滞，导致性能严重下降。
  • paged out 操作会导致消息的处理速度一度降为零，之后才恢复。

• 持久化消息发送：
  • 当发送持久化消息时，消息不仅存储在内存中，还会立即写入磁盘。因此，无论内存如何变化，磁盘中的数据都能保持一致，不会发生消息丢失。
  • 持久化模式下，即使有大量消息需要处理，RabbitMQ 仍然能够保持较高的处理速率，没有明显的性能下降或阻塞。

性能对比

• 非持久化模式：发送大量消息时，随着内存满了，系统会进行 paged out，导致性能波动，速率降低到零，造成阻塞。
• 持久化模式：每条消息都会立即持久化到磁盘，因此没有发生内存满了才写入的情况，性能保持稳定，处理速度平稳。

Spring AMQP 默认持久化

• Spring AMQP 配置：默认情况下，Spring AMQP 创建的队列和交换机都是持久化的，发送的消息也是持久化的。因此，开发者不需要做额外的配置，默认行为即可保证消息的可靠性。

总结

为了确保 RabbitMQ 的消息可靠性，应采用以下措施：

1. 确保交换机、队列和消息都做持久化，避免数据丢失。
2. 通过 Spring AMQP 默认配置，可以确保消息的可靠性，但需要注意消息持久化的性能开销。
3. 持久化虽然会带来一定的性能开销，但比起非持久化模式导致的阻塞问题，持久化更有利于系统的稳定性和可靠性。