Flink CDC这个问题有谁遇到过吗？

在使用Flink CDC的过程中，可能会遇到多种问题，以下是一些常见问题及其解决方案的详细说明。如果您遇到了具体的问题，请参考以下内容进行排查和解决。

1. Flink CDC作业失败后无法彻底退出

• 问题描述：Flink CDC作业失败后，默认会尝试重启，而不是直接退出。
• 解决方案：通过修改Flink配置文件，指定具体的重启策略。例如，设置最多尝试重启两次，每次重启前等待10秒。如果两次重启均失败，作业将彻底退出。

  restart-strategy: fixed-delay
  restart-strategy.fixed-delay.attempts: 2
  restart-strategy.fixed-delay.delay: 10 s
  

2. MySQL CDC读取全量数据后不读增量数据

• 问题描述：
  • 只读全量数据，不读增量数据。
  • 全量数据读取完成后卡住。
• 原因分析：
  • 如果读取的是RDS MySQL 5.6备库或只读实例，这些实例可能未向日志文件写入数据，导致下游同步工具无法读取增量变更信息。
  • 全量阶段读取时间过长，可能导致最后一个分片数据量过大，出现OOM（内存溢出）问题。
  • 进入增量阶段时，需要等待一个Checkpoint。如果Checkpoint间隔时间较长（如20分钟），会导致作业延迟进入增量阶段。
• 解决方案：
  • 建议使用可写实例或升级RDS MySQL至更高版本。
  • 增加MySQL Source端的并发，加快全量读取速度。
  • 根据业务需求设置合理的Checkpoint间隔时间。

3. MySQL CDC表只能作为Source

• 问题描述：MySQL CDC源表是否可以作为维表或结果表？
• 答案：MySQL CDC源表只能作为Source使用，用于读取MySQL数据库中的全量和增量数据。而普通的MySQL表可以用作维表或结果表。

4. Binlog格式问题

• 问题描述：报错提示“binlog probably contains events generated with statement or mixed based replication format”。
• 原因分析：MySQL的Binlog格式为Mixed，而非ROW格式。
• 解决方案：将Binlog格式设置为ROW格式。

  show variables like "binlog_format";
  set global binlog_format=ROW;
  

5. Replication Slot冲突

• 问题描述：报错提示“Replication slot 'xxxx' is active”。
• 解决方案：
  1. 手动释放slot：

     select pg_drop_replication_slot('rep_slot');
     

  2. 自动清理slot：在Postgres Source配置中添加以下参数：

     debezium.slot.drop.on.stop = true
     

6. 数据量不大但Flink读取时消耗大量带宽

• 问题描述：MySQL源表数据更新量不大，但Flink读取时消耗了大量带宽。
• 原因分析：Binlog是整个实例级别的，记录所有数据库和表的变更。即使Flink作业只涉及一张表的变更，Binlog仍包含所有表的变更记录。
• 解决方案：通过Source复用避免更多的带宽使用。

7. 增量阶段读取的timestamp字段时区相差8小时

• 问题描述：增量阶段读取的timestamp字段时区与预期相差8小时。
• 原因分析：CDC作业中配置的server-time-zone参数未与MySQL服务器时区一致。
• 解决方案：确保在DataStream中使用自定义序列化器时，给定正确的时区信息。例如，在serverTimeZone处指定时区。

8. 多个CDC作业导致数据库压力过大

• 问题描述：多个CDC作业同时运行，导致数据库压力过大。
• 解决方案：
  1. 将表同步到Kafka消息队列中，再通过消费Kafka中的数据进行解耦。
  2. 将多个CTAS作业合并为一个作业运行，并为每个MySQL CDC源表配置相同的Server ID，实现数据源的复用，从而减小数据库压力。

9. 如何跳过Snapshot阶段，只从变更数据开始读取？

• 解决方案：通过WITH参数scan.startup.mode控制。可以选择从最早可用的Binlog位点消费、从最新的Binlog位点消费、指定时间戳消费或指定具体的Binlog位点消费。

10. Oracle CDC相关问题

• 问题描述：使用Oracle CDC时可能遇到LogMiner不支持PDB、表名长度超限等问题。
• 解决方案：
  • 对于LogMiner不支持PDB的问题，需配置debezium.database.pdb.name参数。
  • 表名长度超过30个字符时，需限制表名和列名长度不超过30个字符。
  • 字段名不匹配时，确保Flink中字段的大小写与Oracle上的表完全一致。

11. 其他常见问题

• MySQL CDC支持监听从库吗？

  • 解决方案：支持。需配置从库以接收主库同步过来的数据，并将这些数据写入从库自身的Binlog文件中。

  log-slave-updates = 1
  gtid_mode = on
  enforce_gtid_consistency = on
  

• 如何获取数据库中的DDL事件？

  • 解决方案：使用DataStream API中的MySqlSource，配置includeSchemaChanges(true)参数来获取DDL事件。

• Flink CDC支持MySQL整库同步吗？

  • 解决方案：支持。通过CTAS或CDAS语法实现整库同步。

以上是Flink CDC常见问题及其解决方案的详细说明。如果您遇到的具体问题未在此列出，请提供更多上下文信息，以便进一步协助您解决问题。