Flink CDC项目组内最近遇到一个flink cdc的技术难点，谁有相关经验的，有空帮忙看看？

Flink CDC项目组内最近遇到一个flink cdc的技术难点，谁有相关经验的，有空帮忙看看？
(1技术实现：oracle:11g/19c，java jdk:17，flink:1.14.2，flink-connector-oracle-cdc(flink-connector-debezium)：2.4.1
(2)问题现象：数据同步服务自启动开始，业务上若长时间(如夜间休息时间)没有触发表数据的变更操作(如insert、update、delete)，会导致flink cdc捕获到表数据的延迟较大
(3)详细描述：对oracle表的数据进行变更操作(如insert)后，flink cdc捕获到表的insert数据时，需要等待近40分钟：
(3.1)服务启动开始时间：2023-11-29 20:23:35
(3.2)服务运行期间，若短时间内业务有触发表数据的变更操作，flink cdc是可以捕获到表数据的，但之后长时间业务上没有任何的表数据变更操作，一直到时间线1
(3.3)服务运行期间，时间线1：2023-11-30 09:17:47：手动通过insert语句，直接向EBR_CLOUD_GL_HWG.GL001_EBR_PI_TEXT业务表插入了一条记录
(3.4)服务运行期间，时间线2：2023-11-30 09:58:10：flink cdc才捕获到这条insert记录，延迟了近40分钟
(4)正常现象：在不重启此服务的情况下(或者重启服务后)，使用相同的数据进行同样的insert操作后，大概在2分钟内，也都可以捕获到此insert记录
(5)服务运行期间，日志无任何报错信息。

展开

收起

真的很搞笑 2023-12-05 20:14:36 52 0

2 条回答

写回答

取消提交回答

芯在这

你写个脚本，1s更新一下当前时间，这样从库也可以看到延时是多久了，类似一个心跳表，mysql 主从延时，很多就是用这个方式去判断的，此回答整理自钉群“Flink CDC 社区”

2023-12-06 13:30:02

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
根据您提供的信息，这个问题可能是由于Flink CDC在长时间没有数据变更时，会将时间线推进到下一个时间点。当有新的数据插入时，Flink CDC会重新计算时间线，导致捕获延迟增加。

为了解决这个问题，您可以尝试以下方法：
1. 调整Flink CDC的时间间隔。您可以在Flink CDC的配置中设置一个较短的时间间隔，以便在没有数据变更时，Flink CDC可以更快地更新时间线。例如，您可以将maximum-interval设置为5分钟或更短的时间。
2. 优化业务逻辑。确保您的业务逻辑可以在不触发数据变更的情况下正常运行。如果可能的话，可以考虑使用缓存或其他技术来减少对数据库的访问。
3. 考虑使用其他CDC工具。如果您发现Flink CDC的性能问题无法通过上述方法解决，您可以考虑使用其他CDC工具，如Debezium或Kafka Connect。这些工具可能在性能方面表现更好，或者提供了更多的配置选项来满足您的需求。
2023-12-05 21:51:07

赞同展开评论打赏