KafkaStream Local Store和Global Store区别和用法

前言

使用kafkaStream进行流式计算时，如果需要对数据进行状态处理，那么常用的会遇到kafkaStream的store，而store也有Local Store以及Global Store，当然也可以使用其他方案的来进行状态保存，文本主要理清楚kafkaStream中的Local Store以及Global Store之间的区别和用法，以及什么时候选择何种store和当store无法满足我们需求时，应该如何使用其他方案来进行数据的状态保存

本文所有方法和代码皆只针对kafka-streams的3.7.0版本，pom如下：

<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-streams</artifactId><version>3.7.0</version>
</dependency>

由于不同版本的KafkaStream在使用上有较大区别，也因为KafkaStream不同版本API改动较大，所以如果版本不一致，使用方法甚至是一些核心概念都会跟本文讲述有所出入，并且KafkaStream由于相对小众，文档也很少，官网的文档也只是一些简单介绍，所以需要注意避坑

Local Store和Global Store的共同点和区别点

共同点：

1、都是用于流式计算中进行状态存储的

2、具体结构类似，使用的都是如：KeyValueStore，SessionStore等类

3、实际机制类似，会通过内存、本地目录和kafka Topic的变更记录等方式来进行缓存数据更新和恢复

不同点

1、适用场景不同

Local Store 适合用于单个实例的状态管理，适合处理单个分区的数据，并且缓存数据不会多个实例共享

Global Store 适用于跨实例共享数据状态，多个实例通过Topic中的更新记录来跟新进程中的数据

2、使用方法不同

Local Store 可以直接在代码中调用对应类型存储（如：KeyValueStore）的put方法进行更新数据，不需要考虑数据一致性（因为可见性只有单个实例）

Global Store 不能直接调用对应的put和delete方法，所有更新和删除缓存都需要通过发送数据到Global 配置的topic中，然后自行实现Topic数据消费者（实现：org.apache.kafka.streams.processor.api.Processor类），在消费者类中进行数据更新等操作，同时因为需要自己实现更新实例中的数据逻辑，数据一致性也需要开发者自行处理，虽然正常来说利用Kafka本身的特性很少出现数据一致性问题，但是如果多实例之间性能差异和网络环境等差异，容易将数据不一致的时长延长，如果要求Store一致性强且容忍数据不一致时限短，则需要注意考虑Store更新数据消费者的处理能力

3、扩展性

Local Store：可以通过增加输入主题的分区数来扩展处理能力，但每个实例仍然独立运行。

Global Store：需要在多个实例之间共享状态，因此在设计时需要考虑如何高效地管理和同步状态。

常见的Store 类型

org.apache.kafka.streams.state.KeyValueStore
org.apache.kafka.streams.state.SessionStore
org.apache.kafka.streams.state.TimestampedKeyValueStore
org.apache.kafka.streams.state.VersionedKeyValueStore
org.apache.kafka.streams.state.WindowStore

需要根据实际使用场景选择合适的状态存储类

用法

Local Store

第一步，先生成对应类型的StoreBuilder对象，如我需要用KeyValueStore,然后状态存储的名字是：testLocalStore（这个名字不能重复，因为会根据消费者id加储存名称创建对应的Topic，当然如果是不同的KafkaStream程序，消费者id不一致，那么重复就没有关系了）,因为是KeyValue类型的储存，所以需要设定对应的Key和Value数据的序列化对象，具体代码如下：

StoreBuilder<KeyValueStore<String, String>> kvBuilder = Stores.keyValueStoreBuilder(Stores.persistentKeyValueStore("testLocalStore"), Serdes.String(), Serdes.String());

其中Stores.persistentKeyValueStore代表的我得存储是持久化的，正常都是会用持久化，当然也有存储一些不重要或者程序重启丢失也无所谓的状态数据，可以使用Stores.inMemoryKeyValueStore以及基于LRU淘汰机制的储存Stores.lruMap，第二个参数Serdes.String()代表存储数据的key是字符串，第三个参数同理，如果是要存储一些对象，也可以使用自定义的序列化类，实现

org.apache.kafka.common.serialization.Serializer

序列化类，以及反序列化类

org.apache.kafka.common.serialization.Deserializer

然后定义好即可，如：

new Serdes.WrapperSerde<>(new KryoSerializer<>(TestStoreBean.class),new KryoDeserializer<>(TestStoreBean.class)

其中KryoSerializer和KryoDeserializer是我自定义的使用Kryo序列化Java对象的类，TestStoreBean是我保存的状态的数据封装bean

KryoSerializer代码如下：

import com.esotericsoftware.kryo.Kryo;
import com.esotericsoftware.kryo.io.Output;
import org.apache.kafka.common.serialization.Serializer;import java.io.ByteArrayOutputStream;/*** kryo序列化类* @author Raye* @since 2024-6-4*/
public class KryoSerializer<T> implements Serializer<T> {private static final ThreadLocal<Kryo> KRYO_LOCAL = new ThreadLocal<Kryo>() {@Overrideprotected Kryo initialValue() {Kryo kryo = new Kryo();/*** 不要轻易改变这里的配置！更改之后，序列化的格式就会发生变化，* 上线的同时就必须清除 Redis 里的所有缓存，* 否则那些缓存再回来反序列化的时候，就会报错*///支持对象循环引用（否则会栈溢出）kryo.setReferences(true); //默认值就是 true，添加此行的目的是为了提醒维护者，不要改变这个配置//不强制要求注册类（注册行为无法保证多个 JVM 内同一个类的注册编号相同；而且业务系统中大量的 Class 也难以一一注册）kryo.setRegistrationRequired(false); //默认值就是 false，添加此行的目的是为了提醒维护者，不要改变这个配置return kryo;}};/*** 获得当前线程的 Kryo 实例** @return 当前线程的 Kryo 实例*/public static Kryo getInstance() {return KRYO_LOCAL.get();}private Class<T> clz;public KryoSerializer(Class<T> clz) {this.clz = clz;}@Overridepublic byte[] serialize(String s, T t) {if(t == null){return null;}ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();Output output = new Output(byteArrayOutputStream);Kryo kryo = getInstance();kryo.writeObjectOrNull(output, t,clz);output.flush();return byteArrayOutputStream.toByteArray();}
}

KryoDeserializer代码如下：

import com.esotericsoftware.kryo.Kryo;
import com.esotericsoftware.kryo.io.Input;
import org.apache.kafka.common.serialization.Deserializer;import java.io.ByteArrayInputStream;/*** kryo反序列化类* @author Raye* @since 2024-6-4*/
public class KryoDeserializer<T> implements Deserializer<T> {private static final ThreadLocal<Kryo> KRYO_LOCAL = new ThreadLocal<Kryo>() {@Overrideprotected Kryo initialValue() {Kryo kryo = new Kryo();/*** 不要轻易改变这里的配置！更改之后，序列化的格式就会发生变化，* 上线的同时就必须清除 Redis 里的所有缓存，* 否则那些缓存再回来反序列化的时候，就会报错*///支持对象循环引用（否则会栈溢出）kryo.setReferences(true); //默认值就是 true，添加此行的目的是为了提醒维护者，不要改变这个配置//不强制要求注册类（注册行为无法保证多个 JVM 内同一个类的注册编号相同；而且业务系统中大量的 Class 也难以一一注册）kryo.setRegistrationRequired(false); //默认值就是 false，添加此行的目的是为了提醒维护者，不要改变这个配置return kryo;}};/*** 获得当前线程的 Kryo 实例** @return 当前线程的 Kryo 实例*/public static Kryo getInstance() {return KRYO_LOCAL.get();}private Class<T> clz;public KryoDeserializer(Class<T> clz) {this.clz = clz;}@Overridepublic T deserialize(String s, byte[] bytes) {if(bytes == null){return null;}ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);Input input = new Input(byteArrayInputStream);Kryo kryo = getInstance();try {return kryo.readObjectOrNull(input, clz);}catch (Exception e){e.printStackTrace();}return null;}
}

同理，使用LocalStore时，可以将代码替换成以下内容：

StoreBuilder<KeyValueStore<String, TestStoreBean>> kvBuilder = Stores.keyValueStoreBuilder(Stores.persistentKeyValueStore("testLocalStore"), Serdes.String(), new Serdes.WrapperSerde<>(new KryoSerializer<>(TestStoreBean.class),new KryoDeserializer<>(TestStoreBean.class));

有了StoreBuilder对象之后，直接在StreamsBuilder对象中添加即可

streamsBuilder.addStateStore(kvBuilder);

需要使用时，先在处理数据的Processor类中的init方法获取对应的状态存储对象

this.testLocalStore = context.getStateStore("testLocalStore");

然后就可以在process方法中调用testLocalStore的get、put、delete等方法操作状态存储数据了，具体代码如下

	@Slf4jpublic static class StreamProcessor implements Processor<String,String,String,String> {private KeyValueStore<String,String> testLocalStore;private ProcessorContext context;private String toTopic;@Overridepublic void init(ProcessorContext context) {this.context = context;this.testLocalStore = context.getStateStore("testLocalStore");}public StreamProcessor(String toTopic) {this.toTopic = toTopic;}@Overridepublic void process(Record<String, String> record) {testLocalStore.put("key1","testValue1");log.info("testLocalStore key1 : {}",testLocalStore.get("key1"));testLocalStore.delete("key1");context.forward(record,toTopic);}}

其中实现的Processor类全称是：org.apache.kafka.streams.processor.api.Processor，上面代码只是在数据处理流程中简单保存了数据，然后获取出来以及删除，没有对流数据做任何处理，就直接发送到输出的topic了

完整代码如下：

	@Beanpublic KStream<String,String> kStreamTestStore(StreamsBuilder streamsBuilder){log.info("init kStreamTestStore");StoreBuilder<KeyValueStore<String, String>> kvBuilder = Stores.keyValueStoreBuilder(Stores.persistentKeyValueStore("testLocalStore"), Serdes.String(), Serdes.String());streamsBuilder.addStateStore(kvBuilder);KStream<String, String> stream = streamsBuilder.stream(fromTopic);stream.process(()->new StreamProcessor(toTopic), Named.as(fromTopic),"testLocalStore");streamsBuilder.build().addSink(toTopic,toTopic,fromTopic);return stream;}

注意：由于使用Store需要通过ProcessorContext对象来获取Store对象，所以在KafkaStream常用的一些map,mapValue,flatMapValues这些流式计算方法中是没办法使用的，只能在一些更底层的Api中去使用，如process

Global Store

同Local Store一样，需要先生成对应类型的StoreBuilder对象，代码跟Local Store一样

StoreBuilder<KeyValueStore<String, String>> kvBuilder = Stores.keyValueStoreBuilder(Stores.persistentKeyValueStore("testGlobalStore"), Serdes.String(), Serdes.String());

然后定义处理状态更新日志的Processor类，在这个类中，可以对缓存数据进行更新和删除操作（其他地方都是不能直接修改Global Store的）

public class GlobalStoreHandleProcessor<K, V> implements Processor<K,V,Void,Void> {private KeyValueStore<K, V> store;private String storeName;public GlobalStoreHandleProcessor(String storeName) {this.storeName = storeName;}@Overridepublic void process(Record<K,V> record) {if(record == null || record.value() == null) {return;}store.put(record.key(), record.value());}@Overridepublic void init(ProcessorContext context) {this.store = context.getStateStore(storeName);}}

跟KafkaStream的process是一样的，只需要在process方法中对缓存进行更新或者删除操作即可，我这里只是简单put操作，具体逻辑可以根据自己情况进行处理

在StreamsBuilder对象中添加StoreBuilder对象

streamsBuilder.addGlobalStore(kvBuilder,"testGlobalStore", Consumed.with(Serdes.String(),Serdes.String()),()->new GlobalStoreHandleProcessor<>("testGlobalStore"));

其中第二个参数testGlobalStore是Global Store绑定的数据变更记录的Topic，如果要更新，则需要通过向这个topic发送数据来进行更新Global Store中的数据

处理数据的Processor类实例代码

public static class StreamProcessor implements Processor<String,String,String,String> {private KeyValueStore<String,String> testGlobalStore;private ProcessorContext context;private String toTopic;@Overridepublic void init(ProcessorContext context) {this.context = context;this.testGlobalStore = context.getStateStore("testGlobalStore");}public StreamProcessor(String toTopic) {this.toTopic = toTopic;}@Overridepublic void process(Record<String, String> record) {testLocalStore.put(jsonObject.getString("key"),jsonObject.getString("value"));log.info("testLocalStore key1 : {}",testGlobalStore.get("key1"));//发送更新Global Store的数据context.forward(new Record("testGlobalKey","global value",record.timestamp()),"testGlobalStore");context.forward(record,toTopic);}}

与Local Store不同的是，不能在处理数据流的时候，对缓存进行put操作，只能通过将数据发送到Global Store关联的topic中，在GlobalStoreHandleProcessor中去做更新

完整代码如下：

	@Beanpublic KStream<String,String> kStreamTestStore(StreamsBuilder streamsBuilder){log.info("init kStreamTestStore");StoreBuilder<KeyValueStore<String, String>> kvBuilder = Stores.keyValueStoreBuilder(Stores.persistentKeyValueStore("testGlobalStore"), Serdes.String(), Serdes.String());streamsBuilder.addGlobalStore(kvBuilder,"testGlobalStore", Consumed.with(Serdes.String(),Serdes.String()),()->new GlobalStoreHandleProcessor<>("testGlobalStore"));KStream<String, String> stream = streamsBuilder.stream(fromTopic);stream.process(()->new StreamProcessor(toTopic), Named.as(fromTopic));streamsBuilder.build().addSink(toTopic,toTopic,fromTopic);streamsBuilder.build().addSink("testGlobalStore","testGlobalStore",fromTopic);return stream;}

与Local Store不同点在于，不需要在process方法中添加store的名字，但是因为要从process方法中直接将更新Store的数据发送到topic，所以需要添加一个Global Store绑定的Topic的输出扩展，也就是下面这行代码

streamsBuilder.build().addSink("testGlobalStore","testGlobalStore",fromTopic);

不适合的场景

由于KafkaStream Store 没有自动过期数据和过期数据自动删除的概率（可能是有，但是我没有找到对应文档），所以如果我们存储的key集合特别大，并且需要自动过期和自动删除，那么就不适合使用Store来处理了，因为需要我们自行处理删除逻辑，尤其是有些场景中，并不会对过期的key进行访问，所以采用惰性删除基本上不现实，但是定时删除，因为Store会存储到磁盘，如果存储的key很多，删除对应数据的时候耗时很长，尤其是单次删除大量key的时候，可能会直接超时，并且还必须要自己处理定时删除的逻辑，想要更好的去删除，就需要大量时间去开发和优化。

虽然使用内存的Store能稍微好点，但是毕竟单个进程内存有限，并且正常流处理中，如果需要保存状态，那么肯定是希望进程重启之后，能恢复数据，避免计算出错的，所以如果是有大量不重复key，并且数据需要到期自动删除的话，可以直接使用Redis做状态存储，并且进过我得实际测试，使用Redis并不比Store慢，并且在key量越来越大的情况下，Redis的性能是完全优于Store的（只针对持久化的Store），当然使用Redis，还是会更使用Global Store一样，需要考虑数据一致性的问题，不过这个问题可以通过将相同key的数据从Kafka Topic就分配到同一个Topic分区中来避免