kafka基础知识

kafka架构
producer -> kafka cluster(broker>topic>partition) -> consumer -> zookeeper

kafka压测
kafka-producer-perf-test.sh
kafka-consumer-perf-test.sh

kafka日志保存位置及消息保存时间
/tpdata/client/Kafka/kafka/config/server.properties
log.dirs = /srv/BigData/kafka/data1/kafka-logs
log.retention.hours = 168
offsets.commit.required.acks = -1

服务器台数

kafka监控
topic(分区,副本,topic输入输出流量,topic每秒输入的消息条数)
磁盘使用率

分区分配策略
Range分配策略:此策略将分区按照范围分配给消费者,旨在尽可能平均地分配分区给消费者,以确保负载均衡
RoundRobin分配策略:此策略以轮询的方式分配置分区给消费者

如何看数据积压问题?
kafka-consumer-groups.sh
如何处理数据积压问题?
增加消费者数量
调整分区数量
参数优化
使用压缩
扩大kafka集群规模

事务(略)

数据重复问题原因?
生产端:消息发送成功但响应失败
消费端:偏移量提交失败
如何防止数据重复?
幂等性
消息去重
偏移量管理
使用事务

为什么能做到高并发?
顺序写,分布式

消费策略
从开始位置消费
从最新位置消费
指定位置消费