Flink MySQL cdc 同步时状态存储的是全表的数据吗？

Flink CDC 会根据配置和同步的需要，适时地释放内存。例如，在完成一次全量快照读取后，Flink 可以配置为仅保留变更数据的状态，从而释放与全量快照相关的内存资源。此外，Flink CDC 还支持增量快照算法，这允许它在读取数据时不需要锁定表，减少了对数据库性能的影响，并提高了读取的并发性

Flink MySQL CDC（Change Data Capture）在同步数据时，并不会直接在状态存储中保存全表的数据。Flink CDC的设计原理是利用数据库的binlog来捕捉变化的数据，包括插入（INSERT）、更新（UPDATE）和删除（DELETE）等操作。其工作流程大致如下：

1. 初始快照（Snapshotting）：在Flink作业首次启动时，默认情况下会执行一次全表的快照，以获取当前表中的所有数据。这个快照过程是Flink为了保证数据一致性而采取的措施，但它并不意味着将全表数据持久化到Flink的状态存储中。快照数据会被作为数据流的一部分，直接传递给下游算子进行处理，而不是长期存储。

2. 增量数据同步（Streaming Changes）：完成初始快照后，Flink CDC会切换到监听binlog模式，只处理从那一刻起数据库中发生的变更事件。这些变更事件会被捕获并作为数据流持续处理，而不会将整个表的状态存储下来。

3. 状态管理：Flink确实会维护状态，但这主要用于处理时间和窗口计算、检查点（checkpoints）以实现容错等高级功能，而不是用于存储全量表数据。状态存储主要涉及计算逻辑的状态，例如在某些聚合操作中维护中间结果，而不是原始的输入数据。

因此，Flink MySQL CDC在同步过程中，并不会将全表数据作为状态存储起来，而是通过初始快照和随后的增量数据流来确保数据的完整性和实时性。

Flink在处理MySQL CDC数据时，状态存储通常不是全表数据，而是变更日志。ChangelogNormalize算子会处理这些变更，并根据主键进行去重。状态清理通常是基于TTL（时间戳过期）机制，这意味着在一定时间后会自动清理不再需要的状态。在增量阶段，系统会持续跟踪和存储新变更，但随着状态TTL的推进，旧状态会自动释放，以减少内存占用。具体配置和清理策略需参考状态算子和清理机制。

Flink MySQL CDC并不会在状态后端存储全表数据，它主要存储的是用于恢复和持续读取的checkpoint信息以及必要的offsets和snapshot状态，而且在增量阶段，初始的全量快照数据会被checkpoint机制管理，旧的状态被清理以释放内存。