flink中使用GenericWriteAheadSink的优缺点

背景

GenericWriteAheadSink是flink中提供的实现几乎精确一次输出的数据汇抽象类，本文就来看一下使用GenericWriteAheadSink的优缺点

GenericWriteAheadSink的优缺点

先看一下GenericWriteAheadSink的原理图

优点：

1. 几乎可以精确一次的输出，也就是对于不是必须百分百保证精准一次输出的场景，使用GenericWriteAheadSink是非常合适的
2. 基于GenericWriteAheadSink实现比较简单，只需要实现其中的几个方法即可

缺点：

1.严格来说只能做到至少一次的输出，没法做到精准一次的输出
2.对于状态的大小会是一个很大的负担，他会把两个或者可能两个以上检查点之间的记录都作为状态保存起来，这对于检查点间隔比较长的应用来说状态大小会非常大，可能会导致oom，并且衡量所需的状态大小时，不仅仅只通过两个检查点之间的间隔来估计，极端情况下有可能有N个检查点之间的间隔的总和的消息都会被当成状态保存起来，原因在于两个方面，第一个方面是不是每个检查点都会触发检查点完成的通知，第二个方面时在检查点完成的通知中事务提交可能失败，这就意味着状态没法清除，所以只能等下一个检查点或者下下个检查点的完成通知才能提交之前的事务，并清理之前的状态