问题一:在测试环境用flink cdc正则同步mysql分表,当作业启动后有新增分表,也能同步到吗?
在测试环境用flink cdc正则同步mysql分表,当作业启动后有新增分表,也能同步到,但是在生产上的mysql表就不能,还有对于新增字段,这边是用api整条数据同步的,测试环境也能同步到,生产上新增字段的数据竟然也不能同步到,这是和mysql的配置有关么?这样就不支持在扩大采集库的范围后从savepoint恢复。
参考答案:
动态加表都必须启停作业才能实现,不能自动加表。其实你可以用两个cdc任务, 1个专门用于分表的, 另外一个就用于不分表的,或者直接升级到3.1这些都不用考虑了。
https://github.com/apache/flink-cdc/issues/2306
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607253
问题二:FLINk CDC 2.4版本文档是这个吗?好像和以前的差不多?
FLINk CDC 2.4版本文档是这个吗?好像和以前的差不多?
参考答案:
中文资料链接,CDC Source 文档就是2.4版本的。2.4 和 3.x,对于老的CDC source,一样的。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607250
问题三:Flink CDC中如果要保证业务的同时,进行同步flinkcdc可以控制速率吗?api怎么设置啊?
Flink CDC中如果要保证业务的同时,进行同步flinkcdc可以控制速率吗?api怎么设置啊?有具体可以设置的参数名字吗?
参考答案:
用api可以,自己调API开发,自己做条数限制。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607248
问题四:Flink CDC里oracle全量的时候卡在这里不动了怎么回事呀?
我要同步oracle 无主键表。
启动模式是initial时
如果开启了增量快照,那么我下游print输出的记录条数有问题 输出条数永远和切分出来的chunk数相等
如果不开启增量快照,那么作业直接卡着没有任何反应
是为什么呢?
参考答案:
如果读oracle ,日志疯狂增长的话,应该是需要在with中配置下这两个参数。
'debezium.log.mining.strategy' = 'online_catalog',
'debezium.log.mining.continuous.mine' = 'true' 。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/607241
问题五:Flink CDC里假如mysql的binlog有很多个文件,按什么顺序扫描?
Flink CDC里假如mysql的binlog有很多个文件,一小时一个,用mysql-cdc读取binlog 指定开始策略为时间戳,现在的实现是从第一个binlog文件扫source.ts_ms 还是按照binlog文件的更新时间或者创建时间判断从哪个文件开始扫?
参考答案:
目前的按照时间戳查找就是按照binlog一条条过滤的,如果你binlog文件多且大,就是很慢
,master目前有binglog二分查找算法,可以解决你的问题的。
关于本问题的更多回答可点击进行查看: