问题一:升级到flink1.17.1 + cdc2.3或更高版本,经常出现无法连接数据帮忙看下是怎么回事呢?
使用flink1.17.1 + cdc2.2.1启动的job没有问题,可以连续启动三四个。但是当升级到flink1.17.1 + cdc2.3或更高版本(比如2.4、2.4.2、3.0)时,经常出现无法连接数据库的问题,而且每次提交到第二个或第三个job基本上就一定会出现复制错误。另外我是使用pyflink +flinksql的方式,帮忙看下是怎么回事呢?
参考答案:
建议用java,或者sql方式
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584634
问题二:Flink CDC2.2.1 支持通过指定或者timestamp的方式做增量同步吗?
Flink CDC2.2.1 支持通过source 指定 binlog或者timestamp的方式做增量同步吗?
参考答案:
支持的,可以看看doc的version
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584633
问题三:最新的flink-cdc支持tidb4.x版本吗?
最新的flink-cdc支持tidb4.x版本吗?
参考答案:
Flink CDC目前不支持TiDB 4.x版本,只支持MySQL、PostgreSQL和Oracle等数据库。如果你需要将数据从TiDB同步到Doris,可以考虑使用其他工具或方案,例如TiDB Binlog、TiDB Lightning、Canal+Kafka+Flink等。这些工具或方案都可以实现TiDB数据的实时同步和增量更新,具体选择哪种方案可以根据你的实际需求和技术栈进行评估和选择。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584632
问题四:Flink CDC怎么在外部去查询某个job中的表数据呢?
Flink CDC怎么在外部去查询某个job中的表数据呢?
参考答案:
可以把另外一个job的数据持久化到db,你直接查db ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584630
问题五:flinkCDC支持双向同步吗?
flinkCDC支持双向同步吗?应用层有双写
参考答案:
Flink CDC支持全增量一体化同步,可以为用户提供实时一致性快照。在处理一张包含历史全量数据以及新增实时变更数据的表时,Flink CDC会先同步全量历史数据,然后不断地抓取并消费Binlog日志文件中的增量数据。这种全增量一体化的同步方式既可以保证数据的完整性,又能够实现实时变更数据的捕获。
对于双向同步的需求,Flink CDC同样可以实现。在源数据库和目标数据库双向同步的场景中,应用层可以进行双写操作。即先通过Flink CDC将源数据库的变更数据同步至消息队列(如Kafka),然后再由另一个消费应用程序将这些变更数据写入到目标数据库中。这种方式既保证了数据的一致性,又能应对复杂的业务场景。不过需要注意的是,双向同步可能会增加数据处理的复杂性和延迟,因此在实施时需要根据具体的业务需求进行评估和测试。
关于本问题的更多回答可点击进行查看: