Flink CDC历史数据不能checkpoint的情况呢?

"Flink CDC您测过 2.2.1oraclecdc会不会有历史数据不能checkpoint的情况呢?
"

展开

收起

真的很搞笑 2023-10-22 22:44:04 66 0

4 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
1. 我没有测试过Flink CDC 2.2.1是否会出现历史数据不能checkpoint的情况。但是，Flink CDC 2.2.1是基于Oracle CDC 2.2.1的，因此它应该能够正确地处理历史数据的checkpoint。如果你发现历史数据不能checkpoint，那么可能是因为你的配置文件中的参数设置不当。你可以尝试检查你的配置文件中的参数设置，看看是否可以解决问题。
  Flink CDC 2.2.1支持增量模式，但是历史数据不支持增量模式。这是因为Flink CDC 2.2.1是基于Oracle CDC 2.2.1的，而Oracle CDC 2.2.1不支持历史数据的增量模式。如果你需要处理历史数据的增量模式，那么你可能需要使用其他的方法。
2023-10-23 14:17:15

赞同展开评论打赏
sunrr

对于问题1，根据公开的文档和反馈，Oracle CDC在Flink 2.2.1版本中确实存在一些问题，包括历史数据不能checkpoint的问题。

对于问题2，Flink 2.2.1版本确实支持增量CDC，但是对于历史数据的CDC，可能需要特定的配置和处理方式。具体的支持情况，可以参考Flink的官方文档或者咨询Flink的官方技术支持。

2023-10-23 10:31:30

赞同展开评论打赏
芯在这

"2.4大版本的oracle支持增量快照，效果会更好哈
Incremental Snapshot based DataStreamhttps://ververica.github.io/flink-cdc-connectors/master/content/connectors/oracle-cdc.html，此回答整理自钉群“Flink CDC 社区”"

2023-10-23 08:09:05

赞同展开评论打赏
算精通

北京阿里云ACE会长
Flink CDC 是 Flink 的一个开源 CDC（Change Data Capture）实现，用于从数据库中捕获变更数据。在 Flink 2.2.1 中，Oracle CDC 插件应该是可以正常工作的。
关于历史数据不能 checkpoint 的问题，这可能与以下几个方面有关：
1. 数据源问题：请确保您的数据源（Oracle 数据库）能够正确地回滚事务，以便 Flink CDC 能够正确地处理变更数据。
2. Flink 配置问题：请检查您的 Flink 配置，特别是 state.checkpoints.dir 和 state.savepoints.dir 设置，确保它们指向正确的目录，以便 Flink 能够正确地保存和加载状态。
3. Flink CDC 配置问题：请检查您的 Flink CDC 配置，特别是 scan.table.filter 和 processing.mode 设置，确保它们满足您的需求。
4. 并发问题：如果您使用的是多线程的 Flink 任务，请确保并发数设置得当，以免因并发过高导致的历史数据处理问题。
2023-10-23 08:05:38

赞同展开评论打赏