要实现Flink CDC端到端的一致性需要哪些条件？

需要实现以下条件：

1.上游可以 replay，否则中间计算层收到消息后未计算，却发生 failure 而重启，消息就会丢失。

2.记录消息处理进度，并保证存储计算结果不出现重复，二者是一个原子操作，或者存储计算结果 是个幂等操作，否则若先记录处理进度，再存储计算结果时发生 failure，计算结果会丢失，或者 是记录完计算结果再发生 failure，就会 replay 生成多个计算结果。

3.中间计算结果高可用，应对下游在接到计算结果后发生 failure，并未成功处理该结果的场景，可以考虑将中间计算结果放在高可用的 DataStore 里。

4.下游去重，应对下游处理完消息后发生 failure，重复接收消息的场景，这种可通过给消息设置 SequcenceId 实现去重，或者下游实现幂等。

资料来源：《Flink CDC：新一代数据集成框架》，下载链接：https://developer.aliyun.com/topic/download?id=8256。