Kafka架构 主题中的分区和段

分区是隶属于主题之下的。第一个图满足了最基本的消息的发布订阅但是kafka是一个高吞吐量的消息队列假如producer生产的速度远远大于consumer的消费能力那么会造成topic下的数据堆积。消息堆积满之后就需要扩展了否则效率低下于是就需要通过分区扩展了。分区的作用其实就是为了提高数据的吞吐量提高消费能力了。有三个消费者就可以同时消费三个分区里面的数据这样就是上面没有分区的三倍了。如果没有分区那么三个消费者从分区当中拉取数据数据是有offset的这时候offset是单调递增的也就意味着在同一个时间点所有的consumer只能读取一条数据。但是有三个分区这三个分区互不影响互不打扰每一套分区里面都有自己的offset每个consumer消费对应分区的数据这样同一个时间点是可以读取到3条数据。所以有三个分区是单分区的3倍吞吐量。为了提高吞吐量和提高处理数据的能力它们去做了多个分区。另外的两个分区在其他broker上面也就是说这个topic有三个分区这三个分区尽量均匀的发布在3个broker上面。为什么要使用分区其实最直观的原因是为了提高kafka集群的数据吞吐能力数据消费能力。有了分区之后就可以去启动多个消费者同时去消费不同分区中的数据来提高这样的并行度。分区就是把kafka当中的主题分成了若干个部分分区是一个物理概念我们可以实实在在看到这样的目录存在。而这样的目录也会尽量去做一个均衡的处理,就像上面创建的一个主题它会将三个分区尽量的均匀分布在每一个broker上。partition中的文件存储每个分区都是一个目录test0-2都是一个一个的目录其实也是一个分区。分区里面存储的就是消息。在这个目录当中存储的数据文件切分为了若干个段叫做segment。其中.log文件就是数据文件,.log存放的就是一条条的消息这个其实存储在物理磁盘的。一个segment默认是一个g的大小。kafka中并不是无限制的去存储历史的消息这些消息如果无限制的存储下去对于磁盘来说是一个比较大的消耗所以每条消息都是有个过期时间的超过这个过期时间这条消息是要被删除掉的。在partition当中消息是被分成了若干个segment存储的若干个数据段。而每个segment大小默认为1G。segment是一个逻辑的概念因为并不存在这样segment文件一个segment是由两个文件组成的一个是.log文件一个是index文件。这两个文件组成了一个segment文件。一个segment是由两个文件组成的。每个segment是有一个命名的编号数字这个数字就是segment中存储的第一条消息的offset如果要找消息可以通过名字来找在什么位置先定位到哪个segment当中这样就能够从1G的segment中去定位这条消息。生产者会不断向log文件中写入直到写满1G这个时候就需要创建一个新的log文件了。文件中的第一个数字是这个segment中所记录的第一条消息的offset。将log中的数据追加到文件当中从这里可以看到log文件当中的命名是记录第一条消息的offset也可以说是上一个segment的中记录的最后一条消息的offset1。创建的时间 key的大小 value的大小等等都在这里面记录着。payload就是这条消息的本体的内容。log文件中所记录的是消息内容。在这个segment当中第六条消息所对应的位置是266个字节。index里面记录的就是索引的信息。index里面不会将所有的message都记录下来所以采用的是稀疏存储的方式这样文件的体积会比较小。