问题一:Flink CDC 里增量阶段并发是1,是因为保证一个slave获取binglog,避免数据重复吧?
Flink CDC 里增量阶段并发是1,是因为了保证一个slave获取binglog,避免数据重复吧?增量阶段不可能存在多并行度吧,多并行度就出现了每一个记录都会获取重复条数?并行度为1时,整表数据在flink内部也不是有序的,cdc内部用了一些hashmap缓存记录,同一个表的主键并不有序。
参考答案:
主要是保证数据的顺序。增量阶段的并行可以为n哦 前提是你要保证主键相同的binlog数据在下游同一个分区就可以 。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605820
问题二:Flink CDC 里mysql source并发度大于1,在每个keyby分区里面数据是排序的吗?
Flink CDC 里mysql source并发度大于1,做了keyby,在每个keyby分区里面数据是排序的吗?
参考答案:
增量阶段并行度只有1。最好库表做key。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605819
问题三:mysql无主键表的同步,目前无主键表的同步限制条件还比较多,怎么判断flinkcdc是否有主键?
mysql无主键表的同步,我看到目前无主键表的同步限制条件还比较多,请问Flink CDC判断一张表是否有主键是怎么判断的,在没有primary key的时候会把unique key看作主键么?
参考答案:
会的。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605817
问题四:Flink CDC 里我想把算子链断开,但是在提交命令中加上了这个参数发现不起作用怎么办?
Flink CDC 里我想把算子链断开,但是在提交命令中加上了这个参数发现不起作用,是我的写法上有问题吗?
参考答案:
换个思路放在clink,Conf文件里面。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605816
问题五:请教下Flink CDC 中,3.0提示这个怎么回事啊?
请教下Flink CDC 中,3.0提示这个以下,pipeline connectors sink 是否不支持mysql?
Cannot find factory with identifier "mysql" in the classpath.
Available factory classes are:
com.ververica.cdc.connectors.mysql.factory.MySqlDataSourceFactory
at com.ververica.cdc.composer.utils.FactoryDiscoveryUtils.getFactoryByIdentifier(FactoryDiscoveryUtils.java:60)
参考答案:
不支持。
关于本问题的更多回答可点击进行查看: