问题一:有人有Flink CDC同步pgsql吗?
有人有Flink CDC同步pgsql吗?我同步的库里的部分表,如果要增加表的话,做save point 改tablelist重启,新加的表历史数据没有,这个有方案实现吗
参考答案:
目前不支持,未来会,https://github.com/ververica/flink-cdc-connectors/issues/1152
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/601362
问题二:Flink CDC中addsink不能用bean吗?
Flink CDC中addsink不能用bean吗?
参考答案:
在Flink CDC中,addSink方法不支持直接使用Bean作为参数。
Flink CDC(Change Data Capture)是用于捕获数据库变更数据的技术,它通常与Flink集成以实现流式数据处理。在使用Flink CDC时,通常会涉及到数据的源(source)和汇(sink)。数据源负责从数据库中捕获变更数据,而数据汇则负责将处理后的数据发送到下一个目标,比如另一个数据库、消息队列或文件系统。
在Flink中,向数据流添加一个数据汇通常是通过调用DataStream.addSink
方法来实现的。这个方法需要一个实现了特定接口的对象作为参数,以便Flink知道如何将数据发送到下游系统。这个接口可以是SinkFunction
、AsyncSinkFunction
或RichSinkFunction
等。这些接口定义了如何处理数据流中的元素,并将它们写入外部系统。
由于Flink CDC的设计是基于事件驱动的,它依赖于特定的函数来处理数据流中的元素,因此不支持直接使用简单的Java Bean作为addSink
方法的参数。相反,需要创建一个实现了上述接口之一的类,并在该类中定义如何处理和写入数据。
如果您需要在Flink CDC中使用Java Bean,您可能需要自定义一个SinkFunction
,在该函数中将数据流中的元素转换为Java Bean,并将其写入到目标系统。这样,您就可以在Flink CDC的数据汇中使用Java Bean来表示和处理数据。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/601359
问题三:Flink CDC源端能忽略TRUNCATE操作么?
Flink CDC源端能忽略TRUNCATE操作么?
参考答案:
截止到目前都不支持此操作 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/601358
问题四:现在使用Flink CDC1.17.2+cdc2.4,我想把这个字段加进来,该怎么操作呢?
现在使用Flink CDC1.17.2+cdc2.4,同步多张表数据,其中一个表增加字段,我想把这个字段加进来,该怎么操作呢?
参考答案:
状态上不兼容,只能无状态重启,把之前的停止了,然后搞个batch把之前的数据补上。
或者你重新起一个cdc作业,按照最新字段的来,启动模式可以按照时间戳前1小时
关于本问题的更多回答可点击进行查看: