Flink CDC这是什么原理？

Flink CDC（Change Data Capture）是一种基于流式处理技术实现的实时数据同步和变更捕获机制。它通过监控源数据库的binlog（二进制日志）或redo log（重做日志），获取源数据库的数据变更事件，并将这些事件以流的形式传输到目标系统进行处理。

Flink CDC的原理如下：

1. 监控：Flink CDC会连接到源数据库，并监听其binlog或redo log的变化。当有新的数据变更事件发生时，Flink CDC会将其记录下来。
2. 数据传输：Flink CDC将记录的数据变更事件以流的形式传输到目标系统。这些事件可以是插入、更新或删除操作。
3. 数据处理：目标系统接收到数据变更事件后，可以进行相应的处理逻辑，如数据转换、过滤、聚合等操作。
4. 状态管理：Flink CDC支持对数据变更事件的持久化存储，以便在发生故障时能够恢复数据的状态。
5. 批量删除：对于批量删除操作，Flink CDC会将每个删除操作作为一个单独的事件进行传输。因此，即使删除的位点不同，每个删除操作都会生成一个独立的事件。

Flink CDC，全称为Change Data Capture，是一种用于捕获源数据库增量变动记录的技术。它的主要目标是将源数据库的变更数据同步到一个或多个数据目的地。Flink CDC的实现原理通常包括主动查询和事件接收两种技术实现模式。

在Flink CDC中，批量删除的位点都是不一样的，这是因为在数据处理过程中，可能会需要对某些位点进行删除操作。这些删除操作的位点可以根据需要进行设定，而不是固定的。这样可以让数据处理更加灵活，满足不同的业务需求。

总的来说，Flink CDC通过嵌入Debezium、Kafka等方式实现CDC，降低了实现源数据库数据实时同步到Flink的操作难度。