浅聊MQ之Kafka与RabbitMQ简用

（前记：内容有点多，先看目录再挑着看。）

Kafka与RabbitMQ的使用举例

Kafka的使用举例

1. 安装与启动：

   • 从Apache Kafka官网下载Kafka中间件的运行脚本。
   • 解压后，通过命令行启动Zookeeper（Kafka的运行依赖于Zookeeper）。
   • 启动Kafka的服务器进程。

2. 基本功能实现：

   • 生产者：启动生产者进程，向指定的主题（Topic）发送消息。
   • 消费者：启动消费者进程，从指定的主题中接收并处理消息。

3. 高级功能：

   • 分区与复制：Kafka通过分区实现数据的并行处理，通过复制实现数据的高可用性。
   • 日志压缩：Kafka支持日志压缩功能，以减少存储空间的占用。

4. 应用场景：

   • 日志收集与处理：Kafka可以高效地收集和处理来自不同源头的日志数据。
   • 实时数据流处理：Kafka支持实时数据流的处理和分析，适用于金融、物联网等领域。

RabbitMQ的使用举例

1. 安装与配置：

   • 安装Erlang语言支持（因为RabbitMQ需要Erlang的支持）。
   • 从RabbitMQ官网下载并安装RabbitMQ服务器。
   • 启动RabbitMQ服务，并配置用户、权限和插件等。

2. 消息传递过程：

   • 生产者：将消息发送到RabbitMQ的交换机（Exchange），交换机根据路由键（Routing Key）将消息路由到指定的队列（Queue）中。
   • 消费者：从队列中获取消息并进行处理。

3. 高级功能：

   • 消息持久化：RabbitMQ支持消息的持久化存储，以防止消息丢失。
   • 消息确认机制：消费者在处理完消息后，需要向RabbitMQ发送确认消息，以确保消息被正确处理。

4. 应用场景：

   • 异步处理：通过RabbitMQ实现应用程序的异步处理，提高系统的并发性能和可靠性。
   • 应用解耦：不同的应用程序之间可以通过RabbitMQ进行通信，实现应用程序之间的解耦。

在ERP项目中使用消息队列中间件

在ERP项目中，消息队列中间件（如Kafka或RabbitMQ）可以发挥重要作用，特别是在订单模块中。以下以RabbitMQ为例，说明其在ERP项目中的使用：

1. 订单系统与其他系统的解耦：

   • 当订单系统接收到用户提交的订单后，可以将订单信息发送到RabbitMQ的消息队列中。
   • 库存系统、支付系统、物流系统等订阅相应的消息队列，即可实现订单信息的同步处理。
   • 这种解耦方式使得各个系统可以独立开发和部署，提高了系统的可维护性和可扩展性。

2. 异步通信与性能提升：

   • 订单系统不再需要等待其他系统处理完成后再进行下一步操作，而是可以将订单信息发送到RabbitMQ后立即返回响应给用户。
   • 其他系统可以在后台异步处理订单消息，减少了用户等待时间，提升了用户体验。

3. 流量削峰与稳定性保障：

   • 在高并发场景下，如秒杀、抢购等活动期间，RabbitMQ可以作为一个缓冲层，将大量的订单请求暂时存储在消息队列中。
   • 然后按照一定的速率将这些请求分发给后端系统进行处理，有效避免了后端系统因瞬间流量过大而崩溃的问题。

4. 消息确认与最终一致性：

   • RabbitMQ提供了消息确认机制，可以确保消息被正确处理和消费。
   • 即使在出现故障的情况下，也可以通过重试、死信队列等方式来保证消息不会丢失或重复消费，从而实现了最终一致性。

综上所述，Kafka和RabbitMQ等消息队列中间件在ERP项目中具有广泛的应用前景，特别是在订单模块中，它们可以实现服务间的解耦、异步通信、流量削峰以及提高系统的可伸缩性和最终一致性等功能。

-----分界线--------------------------------------------------------------------------------------------------

关于RabbitMQ在异步处理和应用解耦方面的具体应用场景示例：

一、异步处理

1. 用户注册后的邮件和短信通知

   • 场景描述：用户在网站上注册账号后，系统需要发送注册成功邮件和短信。如果在用户提交注册请求时同步完成这些操作，可能会因为邮件或短信服务的延迟导致用户等待时间过长，影响体验。

   • 解决方案：在用户注册成功后，将发送邮件和短信的任务消息发送到RabbitMQ队列中，由后台服务异步处理这些任务。这样，用户注册流程可以快速完成，而邮件和短信的发送则在后台逐步处理。

   • 优势：提升用户响应速度，优化用户体验，同时将非关键流程异步化，避免因慢服务拖累主流程。

2. 订单处理中的异步任务

   • 场景描述：在电商平台中，用户下单后需要进行库存管理、支付确认等多个步骤。如果这些步骤全部同步执行，可能会导致系统响应缓慢，尤其是在高并发场景下。

   • 解决方案：将订单信息发送到RabbitMQ队列中，由不同的服务（如库存服务、支付服务）分别从队列中获取消息并处理。例如，订单服务生成订单后，将消息发送到队列，库存服务和支付服务分别监听队列并执行相应任务。

   • 优势：提高系统的并发性能，确保处理流程的连续性和效率。

3. 文件处理任务的异步执行

   • 场景描述：用户上传大文件后，需要对文件进行处理（如格式转换、压缩等）。如果同步执行这些任务，前端页面可能会一直加载，导致用户体验差。

   • 解决方案：用户上传文件后，将处理任务消息发送到RabbitMQ队列中，由后台服务异步处理文件，处理完成后通知用户或更新状态。

   • 优势：提升用户体验，主线程迅速返回，减少用户等待时间。

二、应用解耦

1. 微服务架构中的服务通信

   • 场景描述：在微服务架构中，各个服务之间需要进行通信。如果直接调用对方的API，服务之间的耦合度会很高，一个服务的故障可能会导致整个系统瘫痪。

   • 解决方案：通过RabbitMQ实现服务之间的消息传递。例如，订单服务生成订单后，将消息发送到队列，库存服务和支付服务分别从队列中获取消息并处理。这种方式减少了服务之间的直接依赖。

   • 优势：降低服务之间的耦合度，便于独立扩展和维护。

2. 多系统之间的数据同步

   • 场景描述：在一个分布式系统中，多个服务依赖同一份数据源。例如，电商平台的订单状态更新后，需要同步到缓存系统和推荐系统。如果让每个服务直接从数据库拉取数据，会增加数据库压力，还可能出现延迟或不一致的问题。

   • 解决方案：利用RabbitMQ进行数据同步。订单服务更新订单状态后，将更新信息发送到队列，缓存服务和推荐服务从队列中消费消息并同步数据。

   • 优势：减轻数据库压力，实现最终一致性，即使某个服务处理延迟，RabbitMQ也能保障消息不丢失。

3. 广播通知

   • 场景描述：当某个事件发生时，需要通知多个服务。例如，商品价格调整后，库存系统、搜索系统和推荐系统都需要同步更新。

   • 解决方案：使用RabbitMQ的广播模式（Fanout），将消息发送到交换机，多个消费者（如库存服务、搜索服务）订阅该交换机，实现消息的“一发多收”。

   • 优势：扩展性强，多个服务都能接收到同一条消息。

-----分界线--------------------------------------------------------------------------------------------------

注意MQ的 Kafka、ActiveMQ、RabbitMQ、RocketMQ区别；

        URL： 浅识MQ的 Kafka、ActiveMQ、RabbitMQ、RocketMQ区别-CSDN博客

注意：持久化策略

        URL：浅聊MQ之Kafka、RabbitMQ、ActiveMQ、RocketMQ持久化策略-CSDN博客

（抱歉，最近在面试，粗糙了些。）

（望各位潘安、各位子健/各位彦祖、于晏不吝赐教！多多指正！🙏）