开源消息队列比较
目录
1. Apache Kafka
1.1安装步骤
1.1.1使用Docker安装
1.1.1手动安装
1.2 C#使用示例代码
1.2.1 安装Confluent.Kafka
1.2.2生产者代码示例
1.2.3消费者代码示例
1.3特点
1.4使用场景
2. RabbitMQ
2.1安装步骤
2.1.1使用Docker安装
2.1.2手动安装
2.2 C#使用示例代码
2.2.1安装RabbitMQ.Client
2.2.2生产者代码示例
2.2.3消费者代码示例
2.3特点
2.4使用场景
3. Apache ActiveMQ
3.1安装步骤
3.1.1使用Docker安装
3.1.2手动安装
3.2 C#使用示例代码
3.2.1安装Apache.NMS.ActiveMQ
3.2.2生产者代码示例
3.2.3消费者代码示例
3.3特点
3.4使用场景
4. Redis (with Redis Streams)
4.1安装步骤
4.1.1使用Docker安装
4.1.2手动安装
4.2 C#使用示例代码
4.2.1安装StackExchange.Redis
4.2.2生产者代码示例
4.2.3消费者代码示例
4.3特点
4.4使用场景
5. NATS
5.1安装步骤
5.1.1使用Docker安装
5.1.2手动安装
5.2 C#使用示例代码
5.2.1安装NATS.Client
5.2.2生产者代码示例
5.2.3消费者代码示例
5.3特点
5.4使用场景
6. Apache Pulsar
6.1安装步骤
6.1.1使用Docker安装
6.1.2手动安装
6.2 C#使用示例代码
6.2.1安装Pulsar.Client.Api
6.2.2生产者代码示例
6.2.3消费者代码示例
6.3特点
6.4使用场景
7. ZeroMQ
7.1安装步骤
7.1.1使用Docker安装
7.1.2手动安装
7.2 C#使用示例代码
7.2.1安装NetMQ
7.2.2生产者代码示例
7.2.3消费者代码示例
7.3特点
7.4使用场景
8. Apache RocketMQ
8.1安装步骤
8.1.1使用Docker安装
8.1.2手动安装
8.2 C#使用示例代码
8.2.1安装RocketMQ.Client
8.2.2生产者代码示例
8.2.3消费者代码示例
8.3特点
8.4使用场景
9. NSQ
9.1安装步骤
9.1.1使用Docker安装
9.1.2手动安装
9.2 C#使用示例代码
9.2.1安装NsqSharp
9.2.2生产者代码示例
9.2.3消费者代码示例
9.3特点
9.4使用场景
10. Kafka Streams
10.1安装步骤
10.2 C#使用示例代码
10.3特点
10.4使用场景
11.特点对比
12.使用场景对比
13.选型策略
1. Apache Kafka
1.1安装步骤
1.1.1使用Docker安装
docker-compose.yml:
version: '2'
services:
zookeeper:
image: wurstmeister/zookeeper:3.4.6
ports:
- "2181:2181"
kafka:
image: wurstmeister/kafka:2.12-2.3.0
ports:
- "9092:9092"
environment:
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
volumes:
- /var/run/docker.sock:/var/run/docker.sock
1.1.1手动安装
下载Kafka二进制文件：
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
解压文件并进入目录：tar -xzf kafka_2.13-2.8.0.tgzcd kafka_2.13-2.8.0
启动Zookeeper：
bin/zookeeper-server-start.sh config/zookeeper.properties
启动Kafka服务器：
bin/kafka-server-start.sh config/server.properties
1.2 C#使用示例代码
1.2.1 安装Confluent.Kafka
在你的C#项目中安装Confluent.Kafka包：
dotnet add package Confluent.Kafka
1.2.2生产者代码示例
using Confluent.Kafka;using System;using System.Threading.Tasks;
class Program
{
public static async Task Main(string[] args)
{
var config = new ProducerConfig { BootstrapServers = "localhost:9092" };
using (var producer = new ProducerBuilder<Null, string>(config).Build())
{
try
{
var deliveryResult = await producer.ProduceAsync("test-topic", new Message<Null, string> { Value = "Hello Kafka" });
Console.WriteLine($"Delivered '{deliveryResult.Value}' to '{deliveryResult.TopicPartitionOffset}'");
}
catch (ProduceException<Null, string> e)
{
Console.WriteLine($"Delivery failed: {e.Error.Reason}");
}
}
}
}
1.2.3消费者代码示例
using Confluent.Kafka;using System;using System.Threading;
class Program
{
public static void Main(string[] args)
{
var config = new ConsumerConfig
{
GroupId = "test-consumer-group",
BootstrapServers = "localhost:9092",
AutoOffsetReset = AutoOffsetReset.Earliest
};
using (var consumer = new ConsumerBuilder<Null, string>(config).Build())
{
consumer.Subscribe("test-topic");
try
{
while (true)
{
var consumeResult = consumer.Consume(CancellationToken.None);
Console.WriteLine($"Consumed message '{consumeResult.Message.Value}' at: '{consumeResult.TopicPartitionOffset}'.");
}
}
catch (OperationCanceledException)
{
consumer.Close();
}
}
}
}
1.3特点
- 高吞吐量：适合处理大量数据流。
- 分布式架构：易于扩展和容错。
- 持久化：消息存储在磁盘上，保证数据安全。
1.4使用场景
- 日志收集与分析。
- 大数据管道。
- 实时流处理。
2. RabbitMQ
2.1安装步骤
2.1.1使用Docker安装
docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3-management
2.1.2手动安装
下载RabbitMQ：
wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.8.16/rabbitmq-server-generic-unix-3.8.16.tar.xz
解压文件并进入目录：
tar -xvf rabbitmq-server-generic-unix-3.8.16.tar.xz
cd rabbitmq_server-3.8.16/sbin
启动RabbitMQ：
./rabbitmq-server
2.2 C#使用示例代码
2.2.1安装RabbitMQ.Client
在你的C#项目中安装RabbitMQ.Client包：
dotnet add package RabbitMQ.Client
2.2.2生产者代码示例
using RabbitMQ.Client;using System;using System.Text;
class Program
{
public static void Main()
{
var factory = new ConnectionFactory() { HostName = "localhost" };
using (var connection = factory.CreateConnection())
using (var channel = connection.CreateModel())
{
channel.QueueDeclare(queue: "hello", durable: false, exclusive: false, autoDelete: false, arguments: null);
string message = "Hello RabbitMQ";
var body = Encoding.UTF8.GetBytes(message);
channel.BasicPublish(exchange: "", routingKey: "hello", basicProperties: null, body: body);
Console.WriteLine($" [x] Sent {message}");
}
}
}
2.2.3消费者代码示例
using RabbitMQ.Client;using RabbitMQ.Client.Events;using System;using System.Text;
class Program
{
public static void Main()
{
var factory = new ConnectionFactory() { HostName = "localhost" };
using (var connection = factory.CreateConnection())
using (var channel = connection.CreateModel())
{
channel.QueueDeclare(queue: "hello", durable: false, exclusive: false, autoDelete: false, arguments: null);
var consumer = new EventingBasicConsumer(channel);
consumer.Received += (model, ea) =>
{
var body = ea.Body.ToArray();
var message = Encoding.UTF8.GetString(body);
Console.WriteLine($" [x] Received {message}");
};
channel.BasicConsume(queue: "hello", autoAck: true, consumer: consumer);
Console.WriteLine(" Press [enter] to exit.");
Console.ReadLine();
}
}
}
2.3特点
- 可靠性：支持持久化、消息确认和发布确认。
- 灵活的路由：支持多种交换类型（direct、topic、headers和fanout）。
- 插件系统：可扩展功能。
2.4使用场景
- 异步任务处理。
- 实时消息传递。
- 微服务通信。
3. Apache ActiveMQ
3.1安装步骤
3.1.1使用Docker安装
docker run -d --name activemq -p 61616:61616 -p 8161:8161 rmohr/activemq
3.1.2手动安装
下载ActiveMQ：
wget https://archive.apache.org/dist/activemq/5.16.3/apache-activemq-5.16.3-bin.tar.gz
解压文件并进入目录：
tar -xzf apache-activemq-5.16.3-bin.tar.gzcd apache-activemq-5.16.3
启动ActiveMQ：
./bin/activemq start
3.2 C#使用示例代码
3.2.1安装Apache.NMS.ActiveMQ
在你的C#项目中安装Apache.NMS.ActiveMQ包：
dotnet add package Apache.NMS.ActiveMQ
3.2.2生产者代码示例
using Apache.NMS;using Apache.NMS.ActiveMQ;using System;
class Program
{
public static void Main()
{
IConnectionFactory factory = new ConnectionFactory("tcp://localhost:61616");
using (IConnection connection = factory.CreateConnection())
using (ISession session = connection.CreateSession())
{
IDestination destination = session.GetQueue("test-queue");
using (IMessageProducer producer = session.CreateProducer(destination))
{
ITextMessage message = producer.CreateTextMessage("Hello ActiveMQ");
producer.Send(message);
Console.WriteLine($"Sent: {message.Text}");
}
}
}
}
3.2.3消费者代码示例
using Apache.NMS;using Apache.NMS.ActiveMQ;using System;
class Program
{
public static void Main()
{
IConnectionFactory factory = new ConnectionFactory("tcp://localhost:61616");
using (IConnection connection = factory.CreateConnection())
using (ISession session = connection.CreateSession())
{
IDestination destination = session.GetQueue("test-queue");
using (IMessageConsumer consumer = session.CreateConsumer(destination))
{
connection.Start();
IMessage message = consumer.Receive();
if (message is ITextMessage)
{
var textMessage = (ITextMessage)message;
Console.WriteLine($"Received: {textMessage.Text}");
}
}
}
}
}
3.3特点
- 兼容性：支持JMS 1.1和J2EE 1.4规范。
- 多协议支持：支持AMQP、MQTT、OpenWire、STOMP等。
- 高可用性：支持Master/Slave集群和高可用性配置。
3.4使用场景
- 企业级应用集成。
- 消息驱动的微服务。
- 事件驱动架构。
4. Redis (with Redis Streams)
4.1安装步骤
4.1.1使用Docker安装
docker run -d --name redis -p 6379:6379 redis
4.1.2手动安装
下载Redis：wget http://download.redis.io/releases/redis-6.2.6.tar.gz
解压文件并进入目录：
tar -xzf redis-6.2.6.tar.gzcd redis-6.2.6
编译Redis：
make
启动Redis：
src/redis-server
4.2 C#使用示例代码
4.2.1安装StackExchange.Redis
在你的C#项目中安装StackExchange.Redis包：
dotnet add package StackExchange.Redis
4.2.2生产者代码示例
using StackExchange.Redis;using System;
class Program
{
static void Main(string[] args)
{
ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("localhost");
IDatabase db = redis.GetDatabase();
db.StreamAdd("mystream", "message", "Hello Redis Streams");
Console.WriteLine("Message added to stream");
}
}
4.2.3消费者代码示例
using StackExchange.Redis;using System;
class Program
{
static void Main(string[] args)
{
ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("localhost");
IDatabase db = redis.GetDatabase();
var entries = db.StreamRead("mystream", "0-0");
foreach (var entry in entries)
{
Console.WriteLine($"ID: {entry.Id}, Message: {entry["message"]}");
}
}
}
4.3特点
- 内存存储：极低的延迟。
- 数据结构丰富：支持字符串、哈希、列表、集合、有序集合、位图、HyperLogLog、Streams等。
- 高可用性：通过Redis Sentinel和Redis Cluster实现。
4.4使用场景
- 实时数据处理。
- 缓存和消息队列。
- 发布/订阅模型。
5. NATS
5.1安装步骤
5.1.1使用Docker安装
docker run -d --name nats -p 4222:4222 nats
5.1.2手动安装
下载NATS：
wget https://github.com/nats-io/nats-server/releases/download/v2.3.4/nats-server-v2.3.4-linux-amd64.zip
解压文件并进入目录：
unzip nats-server-v2.3.4-linux-amd64.zipcd nats-server-v2.3.4-linux-amd64
启动NATS：
./nats-server
5.2 C#使用示例代码
5.2.1安装NATS.Client
在你的C#项目中安装NATS.Client包：
dotnet add package NATS.Client
5.2.2生产者代码示例
using NATS.Client;using System;using System.Text;
class Program
{
public static void Main()
{
ConnectionFactory factory = new ConnectionFactory();
using (IConnection connection = factory.CreateConnection())
{
connection.Publish("test", Encoding.UTF8.GetBytes("Hello NATS"));
Console.WriteLine("Message published");
}
}
}
5.2.3消费者代码示例
using NATS.Client;using System;using System.Text;
class Program
{
public static void Main()
{
ConnectionFactory factory = new ConnectionFactory();
using (IConnection connection = factory.CreateConnection())
{
EventHandler<MsgHandlerEventArgs> msgHandler = (sender, args) =>
{
string message = Encoding.UTF8.GetString(args.Message.Data);
Console.WriteLine($"Received message: {message}");
};
using (IAsyncSubscription subscription = connection.SubscribeAsync("test", msgHandler))
{
Console.WriteLine("Press any key to exit");
Console.ReadKey();
}
}
}
}
5.3特点
- 高性能：低延迟，高吞吐量。
- 轻量级：简单易用，配置和部署方便。
- 多种消息模式：支持请求/响应、发布/订阅等模式。
5.4使用场景
- 微服务通信。
- 实时消息传递。
- 物联网（IoT）应用。
6. Apache Pulsar
6.1安装步骤
6.1.1使用Docker安装
docker run -d --name pulsar -p 6650:6650 -p 8080:8080 apachepulsar/pulsar:latest bin/pulsar standalone
6.1.2手动安装
下载Pulsar：
wget https://archive.apache.org/dist/pulsar/pulsar-2.8.0/apache-pulsar-2.8.0-bin.tar.gz
解压文件并进入目录：
tar -xzf apache-pulsar-2.8.0-bin.tar.gzcd apache-pulsar-2.8.0
启动Pulsar：
bin/pulsar standalone
6.2 C#使用示例代码
6.2.1安装Pulsar.Client.Api
在你的C#项目中安装Pulsar.Client.Api包：
dotnet add package Pulsar.Client.Api
6.2.2生产者代码示例
using Pulsar.Client.Api;using System;using System.Threading.Tasks;
class Program
{
public static async Task Main(string[] args)
{
var client = new PulsarClientBuilder().ServiceUrl("pulsar://localhost:6650").Build();
var producer = await client.NewProducer(Schema.String).Topic("test-topic").CreateAsync();
await producer.SendAsync("Hello Pulsar");
Console.WriteLine("Message sent");
}
}
6.2.3消费者代码示例
using Pulsar.Client.Api;using System;using System.Threading.Tasks;
class Program
{
public static async Task Main(string[] args)
{
var client = new PulsarClientBuilder().ServiceUrl("pulsar://localhost:6650").Build();
var consumer = await client.NewConsumer(Schema.String).Topic("test-topic").SubscriptionName("test-subscription").SubscribeAsync();
var message = await consumer.ReceiveAsync();
Console.WriteLine($"Received: {message.Value}");
await consumer.AcknowledgeAsync(message);
}
}
6.3特点
- 多租户：支持多租户隔离。
- 分布式架构：高可用性和扩展性。
- 流处理：内置Pulsar Functions，支持流处理。
6.4使用场景
- 实时数据分析。
- 数据管道。
- 多租户消息服务。
7. ZeroMQ
7.1安装步骤
7.1.1使用Docker安装
由于ZeroMQ是一个嵌入式库，没有独立的服务器组件，可以直接在项目中安装使用。
7.1.2手动安装
安装依赖：
sudo apt-get install libzmq3-dev
下载并编译ZeroMQ：
wget https://github.com/zeromq/libzmq/releases/download/v4.3.4/zeromq-4.3.4.tar.gz
tar -xzf zeromq-4.3.4.tar.gzcd zeromq-4.3.4
./configure
make
sudo make install
sudo ldconfig
7.2 C#使用示例代码
7.2.1安装NetMQ
在你的C#项目中安装NetMQ包：
dotnet add package NetMQ
7.2.2生产者代码示例
using NetMQ;using NetMQ.Sockets;using System;
class Program
{
public static void Main()
{
using (var pushSocket = new PushSocket("@tcp://localhost:5555"))
{
pushSocket.SendFrame("Hello ZeroMQ");
Console.WriteLine("Message sent");
}
}
}
7.2.3消费者代码示例
using NetMQ;using NetMQ.Sockets;using System;
class Program
{
public static void Main()
{
using (var pullSocket = new PullSocket(">tcp://localhost:5555"))
{
var message = pullSocket.ReceiveFrameString();
Console.WriteLine($"Received: {message}");
}
}
}
7.3特点
- 高性能：低延迟，高吞吐量。
- 灵活性：支持多种消息模式（如请求/响应、发布/订阅等）。
- 嵌入式库：无中心服务器。
7.4使用场景
- 高性能分布式系统。
- 实时数据传输。
- 微服务通信。
8. Apache RocketMQ
8.1安装步骤
8.1.1使用Docker安装
docker run -d --name rocketmq-namesrv -p 9876:9876 apache/rocketmq:4.8.0 sh mqnamesrv
docker run -d --name rocketmq-broker -p 10911:10911 -p 10909:10909 --link rocketmq-namesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" apache/rocketmq:4.8.0 sh mqbroker -n namesrv:9876
8.1.2手动安装
下载RocketMQ：
wget https://archive.apache.org/dist/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip
解压文件并进入目录：
unzip rocketmq-all-4.8.0-bin-release.zipcd rocketmq-4.8.0
启动NameServer：
nohup sh bin/mqnamesrv &
启动Broker：
nohup sh bin/mqbroker -n localhost:9876 &
8.2 C#使用示例代码
8.2.1安装RocketMQ.Client
在你的C#项目中安装RocketMQ.Client包：
dotnet add package RocketMQ.Client
8.2.2生产者代码示例
using RocketMQ.Client;using System;using System.Threading.Tasks;
class Program
{
public static async Task Main(string[] args)
{
var producer = new Producer("testGroup", new ProducerOptions
{
NameServerAddress = "localhost:9876"
});
await producer.StartAsync();
var message = new Message("test-topic", "Hello RocketMQ");
var sendResult = await producer.SendAsync(message);
Console.WriteLine($"Message sent: {sendResult}");
}
}
8.2.3消费者代码示例
using RocketMQ.Client;using System;using System.Threading.Tasks;
class Program
{
public static async Task Main(string[] args)
{
var consumer = new Consumer("testGroup", new ConsumerOptions
{
NameServerAddress = "localhost:9876",
Topic = "test-topic",
MessageModel = MessageModel.Clustering
});
consumer.Subscribe(message =>
{
Console.WriteLine($"Received message: {message.Body}");
return Task.CompletedTask;
});
await consumer.StartAsync();
Console.WriteLine("Press any key to exit");
Console.ReadKey();
}
}
8.3特点
- 高性能：低延迟，高吞吐量。
- 消息顺序：支持顺序消息。
- 分布式事务：支持分布式事务消息。
8.4使用场景
- 金融服务。
- 电子商务订单处理。
- 实时分析。
9. NSQ
9.1安装步骤
9.1.1使用Docker安装
docker run -d --name nsqlookupd -p 4160:4160 -p 4161:4161 nsqio/nsq /nsqlookupd
docker run -d --name nsqd -p 4150:4150 -p 4151:4151 --link nsqlookupd:nsqlookupd nsqio/nsq /nsqd --lookupd-tcp-address=nsqlookupd:4160
docker run -d --name nsqadmin -p 4171:4171 --link nsqlookupd:nsqlookupd nsqio/nsq /nsqadmin --lookupd-http-address=nsqlookupd:4161
9.1.2手动安装
下载NSQ：
wget https://github.com/nsqio/nsq/releases/download/v1.2.1/nsq-1.2.1.linux-amd64.go1.11.6.tar.gz
解压文件并进入目录：
tar -xzf nsq-1.2.1.linux-amd64.go1.11.6.tar.gz
cd nsq-1.2.1.linux-amd64.go1.11.6/bin
启动NSQ：
./nsqlookupd &
./nsqd --lookupd-tcp-address=127.0.0.1:4160 &
./nsqadmin --lookupd-http-address=127.0.0.1:4161 &
9.2 C#使用示例代码
9.2.1安装NsqSharp
在你的C#项目中安装NsqSharp包：
dotnet add package NsqSharp
9.2.2生产者代码示例
using NsqSharp;using System;
class Program
{
public static void Main()
{
var producer = new Producer("127.0.0.1:4150");
producer.Publish("test_topic", System.Text.Encoding.UTF8.GetBytes("Hello NSQ"));
Console.WriteLine("Message sent");
}
}
9.2.3消费者代码示例
using NsqSharp;using System;
class Program
{
public static void Main()
{
var consumer = new Consumer("test_topic", "test_channel");
consumer.AddHandler(new MessageHandler());
consumer.ConnectToNsqLookupd("127.0.0.1:4161");
Console.WriteLine("Press any key to exit");
Console.ReadKey();
}
}
class MessageHandler : IHandler
{
public void HandleMessage(IMessage message)
{
Console.WriteLine($"Received message: {System.Text.Encoding.UTF8.GetString(message.Body)}");
}
public void LogFailedMessage(IMessage message)
{
Console.WriteLine($"Failed message: {System.Text.Encoding.UTF8.GetString(message.Body)}");
}
}
9.3特点
- 易于使用：配置简单，使用方便。
- 高可用性：自动发现和负载均衡。
- 实时消息：低延迟的实时消息传递。
9.4使用场景
- 实时分析。
- 监控系统。
- 实时聊天。
10. Kafka Streams
10.1安装步骤
Kafka Streams是Kafka的一部分，安装Kafka即可使用Kafka Streams。
10.2 C#使用示例代码
目前，Kafka Streams主要用于Java。C#可以通过Kafka Streams的交互API来实现类似功能。
10.3特点
- 流处理：内置的流处理能力。
- 高吞吐量：继承Kafka的高吞吐特性。
- 分布式：自动分布和容错。
10.4使用场景
- 实时数据处理。
- 流分析。
- 复杂事件处理。
-
11.特点对比
| 特点 | Kafka | RabbitMQ | ActiveMQ | Redis (Streams) | NATS | Pulsar | ZeroMQ | RocketMQ | NSQ | Kafka Streams |
| 高吞吐量 | 高 | 中 | 中 | 高 | 高 | 高 | 高 | 高 | 高 | 高 |
| 低延迟 | 低 | 低 | 低 | 低 | 低 | 低 | 低 | 低 | 低 | 低 |
| 持久化 | 是 | 是 | 是 | 是 | 否 | 是 | 否 | 是 | 否 | 是 |
| 消息模型 | Pub/Sub、Queue | Pub/Sub、Queue | Pub/Sub、Queue | Stream | Pub/Sub、Queue | Pub/Sub、Queue | Pub/Sub、Queue | Pub/Sub、Queue | Pub/Sub、Queue | Stream |
| 高可用性 | 是 | 是 | 是 | 是 | 是 | 是 | 是 | 是 | 是 | 是 |
| 多协议 | 否 | 是 | 是 | 否 | 否 | 是 | 是 | 否 | 否 | 否 |
12.使用场景对比
| 使用场景 | Kafka | RabbitMQ | ActiveMQ | Redis (Streams) | NATS | Pulsar | ZeroMQ | RocketMQ | NSQ | Kafka Streams |
| 实时数据处理 | 非常适合，特别是需要高吞吐量和低延迟的场景 | 适合，特别是需要可靠性的场景 | 适合，特别是企业应用集成场景 | 非常适合，需要极低延迟和内存操作的场景 | 非常适合，轻量级和低延迟的场景 | 非常适合，需要多租户和高可用性的场景 | 适合，需要嵌入式高性能通信的场景 | 非常适合，金融服务和电子商务场景 | 非常适合，需要实时性和高可用性的场景 | 非常适合，需要复杂流处理和高吞吐量的场景 |
| 微服务架构 | 非常适合，特别是事件驱动的微服务架构 | 非常适合，特别是需要事务支持的场景 | 适合，特别是基于JMS的应用 | 适合，需要快速缓存和消息传递的场景 | 非常适合，轻量级微服务通信 | 非常适合，特别是需要流处理的微服务架构 | 适合，需要简单、快速的消息传递 | 非常适合，特别是大规模分布式系统 | 适合，需要快速部署和低运维的场景 | 非常适合，特别是需要流处理的微服务架构 |
| 大数据分析 | 非常适合，支持高吞吐量和流处理 | 适合，数据规模较小时使用 | 不太适合，大数据场景下性能不足 | 适合，需要实时数据存储和处理的场景 | 不太适合，主要用于轻量级消息传递 | 非常适合，特别是多租户数据分析场景 | 不太适合，缺乏大数据处理能力 | 非常适合，大规模数据处理场景 | 不太适合，主要用于实时消息传递 | 非常适合，需要实时流数据处理的场景 |
| 事件驱动架构 | 非常适合，特别是需要可靠性的事件处理 | 非常适合，提供丰富的事件处理功能 | 适合，企业级事件驱动架构 | 适合，需要快速处理事件和缓存的场景 | 非常适合，轻量级事件驱动架构 | 非常适合，特别是需要流处理的事件驱动架构 | 适合，需要高性能事件传递的场景 | 非常适合，特别是金融和电子商务场景 | 适合，轻量级事件驱动架构 | 非常适合，需要复杂事件处理的场景 |
| 企业应用集成 | 适合，特别是需要处理大量数据的场景 | 非常适合，提供丰富的企业级功能 | 非常适合，特别是基于JMS的企业集成 | 适合，需要快速数据存储和处理的场景 | 不太适合，主要用于轻量级消息传递 | 适合，需要多租户隔离的企业集成 | 不太适合，缺乏企业级功能 | 非常适合，企业级应用集成场景 | 不太适合，主要用于实时消息传递 | 不太适合，主要用于流处理和分析 |
| 物联网(IoT) | 适合，需要处理大量传感器数据 | 适合，提供可靠的消息传递机制 | 适合，特别是需要企业级集成的场景 | 非常适合，需要实时处理和存储数据的场景 | 非常适合，轻量级和低延迟的IoT应用 | 适合，需要多租户隔离的IoT应用 | 非常适合，需要高性能和低延迟的IoT应用 | 适合，需要可靠消息传递的IoT应用 | 非常适合，需要实时处理的IoT应用 | 适合，需要实时流处理的IoT应用 |
| 金融服务 | 非常适合，需要高可靠性和高吞吐量的场景 | 适合，特别是需要事务支持的场景 | 适合，需要企业级可靠性的场景 | 适合，需要低延迟和高可靠性的场景 | 不太适合，主要用于轻量级消息传递 | 非常适合，需要高可靠性和多租户的场景 | 适合，需要高性能和低延迟的场景 | 非常适合，特别是需要分布式事务的场景 | 适合，需要高可靠性和实时性的场景 | 适合，需要复杂流处理和分析的场景 |
| 实时聊天 | 适合，需要高吞吐量和低延迟的场景 | 适合，特别是需要可靠消息传递的场景 | 适合，需要企业级可靠性的场景 | 非常适合，需要低延迟和快速处理的场景 | 非常适合，需要轻量级和低延迟的场景 | 适合，需要高可用性和多租户隔离的场景 | 非常适合，需要高性能和低延迟的场景 | 适合，需要可靠消息传递的场景 | 非常适合，需要实时处理的场景 | 适合，需要实时流处理和分析的场景 |
| 监控系统 | 非常适合，需要处理大量监控数据的场景 | 适合，需要可靠消息传递的场景 | 适合，需要企业级可靠性的场景 | 非常适合，需要实时处理和存储数据的场景 | 非常适合，需要轻量级和低延迟的场景 | 适合，需要高可用性和多租户隔离的场景 | 适合，需要高性能和低延迟的场景 | 适合，需要可靠消息传递的场景 | 非常适合，需要实时处理的场景 | 适合，需要实时流处理和分析的场景 |
13.选型策略
选择合适的消息队列或流处理平台需要根据具体的使用场景和需求进行评估。以下是一些选型策略：
高吞吐量和低延迟：
- Kafka 和 Pulsar 适合需要高吞吐量和低延迟的场景，如实时数据处理和大数据分析。
- Redis (Streams) 和 NATS 适合需要极低延迟的场景，如实时聊天和物联网应用。
企业级应用集成：
-
- RabbitMQ 和 ActiveMQ 提供丰富的企业级功能，适合需要可靠性和事务支持的企业应用集成。
- RocketMQ 适合需要分布式事务和高可靠性的金融服务和电子商务场景。
实时数据处理和流处理：
-
- Kafka Streams 和 Pulsar 适合需要复杂流处理和实时数据分析的场景。
- NSQ 适合需要实时处理和低运维的轻量级流处理场景。
轻量级和嵌入式应用：
-
- ZeroMQ 适合需要高性能和低延迟的嵌入式通信。
- NATS 适合需要轻量级和快速消息传递的微服务和物联网应用。
特定需求：
-
- Redis (Streams) 适合需要内存存储和极低延迟的实时数据处理和缓存场景。
- Pulsar 适合需要多租户隔离和高可用性的多租户数据分析和事件驱动架构。
通过对比各种消息队列和流处理平台的特点和使用场景，可以更好地选择适合自己需求的技术方案。
相关文章：
开源消息队列比较
目录 1. Apache Kafka 1.1安装步骤 1.1.1使用Docker安装 1.1.1手动安装 1.2 C#使用示例代码 1.2.1 安装Confluent.Kafka 1.2.2生产者代码示例 1.2.3消费者代码示例 1.3特点 1.4使用场景 2. RabbitMQ 2.1安装步骤 2.1.1使用Docker安装 2.1.2手动安装 2.2 C#使用示…...
【前端逆向】最佳JS反编译利器，原来就是chrome！
有时候需要反编译别人的 min.js。 比如简单改库、看看别人的 min,js 干了什么，有没有重复加载？此时就需要去反编译Javascript。 Vscode 里面有一些反编译插件，某某Beautify等等。但这些插件看人品，运气不好搞的话，反…...
微信小程序根据动态权限展示tabbar
微信小程序自定义 TabBar 后根据权限动态展示tabbar 在微信小程序开发中，自定义 TabBar 可以让应用更具灵活性和个性化。特别是在用户根据不同权限展示不同的 TabBar 内容时，正确的实现方法能够提升用户体验。本篇文章将分享如何使用事件总线实现权限变动时动态更新自定义 T…...
开源安全信息和事件管理（SIEM）平台OSSIM
简介 OSSIM，开源安全信息和事件管理（SIEM）产品，提供了经过验证的核心SIEM功能，包括事件收集、标准化和关联。 OSSIM作为一个开源平台，具有灵活性和可定制性高的优点，允许用户根据自己的特定需…...
【DP】01背包
算法-01背包 前置知识 DP 思路 01背包一般分为两种，不妨叫做价值01背包和判断01背包。 价值01背包 01背包问题是这样的一类问题：给定一个背包的容量 m m m 和 n n n 个物品，每个物品有重量 w w w 和价值 v v v，求不超过背…...
50、PHP 实现选择排序
题目： PHP 实现选择排序 描述： n个记录的文件的直接选择排序可经过n-1趟直接选择排序得到有序结果：(1)初始状态：无序区为R[1…n]，有序区为空。(2)第1趟排序在无序区R[1…n]中选出关键字最小的记录R[k]，将…...
17.延迟队列
介绍 延迟队列，队列内部是有序的，延迟队列中的元素是希望在指定时间到了以后或之前取出和处理。 死信队列中，消息TTL过期的情况其实就是延迟队列。 使用场景 1.订单在十分钟内未支付则自动取消。 2.新创建的店铺，如果十天内没…...
KCache-go本地缓存，支持本地缓存过期、缓存过期自维护机制。
GitHub - kocor01/kcache: go 本地缓存解决方案，支持本地缓存过期、缓存过期自维护机制。 最近系统并发很高，单接口10W的 QPS，对 redis 压力很大，大量的热KEY导致 redis 分片CPU资源经常告警。计划用 go 本地缓存缓解 redis 的压…...
斯坦福UE4 C++课学习补充 14：UMG-优化血量条
文章目录 一、优化执行效率二、简单脉冲动画 一、优化执行效率 绑定事件需要每一帧检查绑定对象是否有变化，势必造成CPU资源的浪费，因此优化执行效率的思路是：UI组件不再自行每帧查询血量，而是让血量自己在发生变化的同时通知UI进…...
在生信分析中大家需要特别注意的事情
在生信分析中大家需要特别注意的事情 标准的软件使用和数据分析流程 1. 先看我的b站教学视频 2. 先从我的百度网盘把演示数据集下载下来，先把要运行的模块的演示数据集先运行一遍 3. 前两步都做完了，演示数据集也运行成功了，并且知道了软件…...
Java工厂模式详解：方法工厂模式与抽象工厂模式
Java工厂模式详解：方法工厂模式与抽象工厂模式 一、引言 在Java开发中，设计模式是解决常见软件设计问题的一种有效方式。工厂模式作为创建型设计模式的一种，提供了灵活的对象创建机制，有助于降低代码的耦合度，提高系…...
springSecurity学习之springSecurity用户单设备登录
用户只能单设备登录 有时候在同一个系统中，只允许一个用户在一个设备登录。 之前的登陆者被顶掉 将最大会话数设置为1就可以保证用户只能同时在一个设备上登录 Override protected void configure(HttpSecurity http) throws Exception {http..anyRequest().aut…...
微信小程序实现聊天界面，发送功能
.wxml <scroll-view scroll-y"true" style"height: {{windowHeight}}px;"><view wx:for"{{chatList}}" wx:for-index"index" wx:for-item"item" style"padding-top:{{index0?30:0}}rpx"><!-- 左…...
【强化学习的数学原理】课程笔记--5（值函数近似，策略梯度方法）
目录 值函数近似一个例子TD 算法的值函数近似形式Sarsa, Q-learning 的值函数近似形式Deep Q-learningexperience replay 策略梯度方法（Policy Gradient）Policy Gradient 的目标函数目标函数 1目标函数 2两种目标函数的同一性 Policy Gradient 目标函数的…...
前端Long类型精度丢失：后端处理策略
文章目录 精度丢失的具体原因解决方法1. 使用 JsonSerialize 和 ToStringSerializer2. 使用 JsonFormat 注解3. 全局配置解决方案 结论 开发商城管理系统的品牌管理界面时，发现一个问题，接口返回品牌Id和页面展示的品牌Id不一致，如接口返回的…...
C++ | Leetcode C++题解之第300题最长递增子序列
题目： 题解： class Solution { public:int lengthOfLIS(vector<int>& nums) {int len 1, n (int)nums.size();if (n 0) {return 0;}vector<int> d(n 1, 0);d[len] nums[0];for (int i 1; i < n; i) {if (nums[i] > d[len])…...
springboo 整合 redis
springBoot 整合 redis starter启动依赖。—包含自动装配类—完成相应的装配功能。 引入依赖 <!--引入了redis整合springboot 的依赖--> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis&…...
dpdk编译安装以及接收udp报文(基于ubuntu)
目录 1、编译 2、设置运行环境 3、使用dpdk接收udp报文 3.1、设置发送端arp信息 3.2、测试 3.3、代码 4、其他 1、编译 代码下载： DPDK 下载版本：DPDK 19.08.2 export RTE_SDK/root/dpdk-stable-19.08.2/ export RTE_TARGETx86_64-native-li…...
【计算机网络】OSPF单区域实验
一：实验目的 1：掌握在路由器上配置OSPF单区域。 2：学习OSPF协议的原理，及其网络拓扑结构改变后的变化。 二：实验仪器设备及软件 硬件：RCMS交换机、网线、内网网卡接口、Windows 2019操作系统的计算机等。…...
Java聚合快递小程序对接云洋系统程序app源码
一场物流效率的革命 引言：物流新时代的序章 在数字化浪潮席卷各行各业的今天，物流行业也迎来了前所未有的变革。为了进一步提升物流效率，优化用户体验，聚合快递系统与云洋系统小程序的对接成为了行业内外关注的焦点。这一创新…...
业务系统对接大模型的基础方案：架构设计与关键步骤
业务系统对接大模型：架构设计与关键步骤 在当今数字化转型的浪潮中，大语言模型（LLM）已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中，不仅可以优化用户体验，还能为业务决策提供…...
深入剖析AI大模型：大模型时代的 Prompt 工程全解析
今天聊的内容，我认为是AI开发里面非常重要的内容。它在AI开发里无处不在，当你对 AI 助手说 "用李白的风格写一首关于人工智能的诗"，或者让翻译模型 "将这段合同翻译成商务日语" 时，输入的这句话就是 Prompt。…...
Xshell远程连接Kali（默认 | 私钥）Note版
前言:xshell远程连接，私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...
Linux简单的操作
ls ls 查看当前目录 ll 查看详细内容 ls -a 查看所有的内容 ls --help 查看方法文档 pwd pwd 查看当前路径 cd cd 转路径 cd .. 转上一级路径 cd 名 转换路径 …...
论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（一）
宇树机器人多姿态起立控制强化学习框架论文解析 论文解读：交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（一） 论文解读：交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化…...
处理vxe-table 表尾数据是单独一个接口，表格tableData数据更新后，需要点击两下，表尾才是正确的
修改bug思路： 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑：async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...
在鸿蒙HarmonyOS 5中使用DevEco Studio实现企业微信功能
1. 开发环境准备 安装DevEco Studio 3.1： 从华为开发者官网下载最新版DevEco Studio安装HarmonyOS 5.0 SDK 项目配置： // module.json5 {"module": {"requestPermissions": [{"name": "ohos.permis…...
【UE5 C++】通过文件对话框获取选择文件的路径
目录 效果 步骤 源码 效果 步骤 1. 在“xxx.Build.cs”中添加需要使用的模块 ，这里主要使用“DesktopPlatform”模块 2. 添加后闭UE编辑器，右键点击 .uproject 文件，选择 "Generate Visual Studio project files"，重…...
Cursor AI 账号纯净度维护与高效注册指南
Cursor AI 账号纯净度维护与高效注册指南：解决限制问题的实战方案 风车无限免费邮箱系统网页端使用说明|快速获取邮箱|cursor|windsurf|augment 问题背景 在成功解决 Cursor 环境配置问题后，许多开发者仍面临账号纯净度不足导致的限制问题。无论使用 16…...
【Zephyr 系列 16】构建 BLE + LoRa 协同通信系统：网关转发与混合调度实战
🧠关键词：Zephyr、BLE、LoRa、混合通信、事件驱动、网关中继、低功耗调度 📌面向读者：希望将 BLE 和 LoRa 结合应用于资产追踪、环境监测、远程数据采集等场景的开发者 📊篇幅预计：5300+ 字 🧭 背景与需求 在许多 IoT 项目中，单一通信方式往往难以兼顾近场数据采集…...