问题一:Flink CDC 里像以Rowid创建的物化视图如果用cdc同步呢?
Flink CDC 里像以Rowid创建的物化视图如果用cdc同步呢?
参考答案:
配置 Debezium:Debezium 允许您通过连接器配置来调整其行为。您可能需要在 Flink CDC 连接器的配置中指定如何处理物化视图和 Rowid 列。这可能包括跳过无法处理的列或使用自定义的转换逻辑。
使用自定义 Sink:如果 Debezium 无法直接处理物化视图,您可能需要开发一个自定义的 Flink Sink 来处理数据同步。这个自定义 Sink 可以更精细地控制如何处理物化视图中的数据。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605797
问题二:Flink CDC 里新加的表,从sp重启后,全量同步一会,就不同步了,数据条数一直不变为什么?
Flink CDC 里新加的表,从sp重启后,全量同步一会,就不同步了,数据条数一直不变为什么? scanNewlyAddedTableEnabled(true)
参考答案:
建议你新起一个任务调整一下scan.incremental.snapshot.chunk.size,scan.snapshot.fetch.size这两个参数试试,因为实际应用中,这两个参数调整完重启是不起效的,以首次为准。默认8092,你调到1000以下试试。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605792
问题三:flink cdc 同步一个oracle表,数据量大概800万,检查点异常,有好的方法排查原因吗?
flink cdc 同步一个oracle表,数据量大概800万,检查点异常,有好的方法排查原因吗? 现在就是第一次读全量,读不进去,其他的表没问题,这个800万的表就挂起了,帮忙看下?
参考答案:
参考:
。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605788
问题四:使用 Flink SQL 的 CREATE TABLE LIKE 语句时,能不能修改参数创建新表?
使用 Flink SQL 的 CREATE TABLE LIKE 语句时,是否可以在不对原表字段进行增删的情况下,仅修改 WITH 参数来创建新表?举个例子,我根据 source1 表的结构创建了 source2 表,但我想要在 source1 表的基础上,只是简单地增加一个字段,并生成 source2 表。根据官网案例,他们是在不改动原有字段的基础上加了个 watermark。我的目的是将多个数据库中的同名同结构表整合在一起,只想改变数据库名称而保持表结构不变,以便能够编写一份表的数据源并复用多份。这样做可行吗?:
。
参考答案:
在sql模式下,source开源的不可以复用的。这里的like复用的是同一个source,如果你这里改了db名字,这里source复用我理解是不行的。你如果不加字段就不要加括号了吧,表名后面直接with。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605777
问题五:oraclecdc中你们数字类型的通过序列化会变成类似BA==这种编码后的结果,你们是怎么处理的?
oraclecdc中你们数字类型的通过序列化会变成类似BA==这种编码后的结果,你们是怎么处理的?
参考答案:
参考
关于本问题的更多回答可点击进行查看: