kafka中幂等性producer和事务性producer

幂等性producer

在Kafka中，“幂等性生产者”的概念是指一种特性，它确保消息在生产者的发送操作被重试时仅发送一次。幂等性是一种重要的特性，因为在分布式系统中，网络问题或其他故障可能导致生产者发送的消息在传输过程中失败，从而需要重新发送。如果生产者没有幂等性保证，这种重试可能会导致重复的消息被写入Kafka，进而可能引发数据重复、不一致性或其他问题。其通过为每条消息分配一个唯一标识符（消息键）来实现，Kafka保证具有相同键的消息将被视为重复消息并且不会被重新处理。

幂等性是指在相同的输入条件下，无论进行多少次操作，结果都是一致的。在消息队列中，生产者（producer）的幂等性是指当生产者发送相同的消息内容多次时，确保消息队列中只有一条消息被正确处理和保存。

幂等性生产者在Apache Kafka 0.11.0.0版本中引入，并旨在帮助应用程序开发人员处理常见的与生产者相关的挑战，例如网络问题、重试和临时故障。生产者就可以通过指定消息的键（key）来实现幂等性保证。生产者会根据消息的键（key）进行消息去重，并且记录每个键的发送状态。当生产者重试发送相同键的消息时，Kafka会确保只有一条消息被写入主题，从而避免重复数据。

为了实现 Producer 的幂等性，Kafka 引入了一个带有序号的 Producer ID，并且在发送消息时每个消息都带有一个唯一的序列号。当 Kafka Broker 接收到 Producer 发送的消息后，会根据 Producer ID 和序列号来判断消息的幂等性。如果 Broker 在处理消息时发现该消息的 Producer ID 和序