Kafka调优

生产者

参数名称	描述
bootstrap.servers	kafka集群的地址
key.deserializer	key的反序列化类，写全类名
value.deserializer	value的反序列化类，写全类名
buffer.memory	RecordAccumulator缓冲区总大小，默认32m
batch.size	缓冲区一批数据最大值，默认16k。适当增加该值，可以提高吞吐量，如果该值设置太大，会导致数据传输延迟增加
linger.ms	如果数据迟迟未达到batch.size，sender等待linger.ms之后就会发送数据，单位ms，默认值是0ms，表示没有延迟。生产环境建议该值大小为5-100ms之间
acks
compression.type	生产者发送数据的压缩方式，默认是none，也就是不压缩
max.in.flight.requests.per.connection	允许最多没有返回ack的次数，默认为5，开启幂等性要保证该值是1-5的数字
enable.idempotence	是否开启幂等性，默认true
retries	当消息发送出现错误，系统会重发消息，retries表示重试次数
retry.backoff.ms	两次重试之间的时间间隔，默认是100ms

生产者如何提高吞吐量

参数名称	描述
buffer.memory
batch.size
linger.ms
compression.type

数据可靠性

参数名称	描述
acks	0：生产者发送过来的数据不需要等待应答 1: 生产者发送过来的数据，Leader收到数据后应答 -1：Leader和ISR里面的所有节点收齐数据后应答。默认值是-1，-1和all等价

至少一次（At Least Once）= ack级别设置为-1+分区副本大于等于2+ISR里应答的最小副本数量大于等于2

数据去重

参数名称	描述
enable.idempotence	是否开启幂等性，默认true

消费者

参数名称	描述
bootstrap.servers	kafka集群的地址
key.deserializer	key的反序列化类，写全类名
value.deserializer	value的反序列化类，写全类名
group.id	消费者组id
enable.auto.commit	默认值为true，消费者会自动周期性的向服务器提交偏移量
auto.commit.interval.ms	提交偏移量的评率，默认为5s

消费者提高吞吐量
增加分区数

参数名称	描述
fetch.max.bytes
max.poll.records	一次poll拉取数据的最大条数，默认是500条

参考博客

[1]