问题一:Flink CDC支持断点续传吗,有没有示例?
Flink CDC支持断点续传吗,有没有示例?
参考回答:
支持,bonlog个和偏移量
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566155
问题二:Flink CDC支持监听的表和一张静态表join吗?
Flink CDC支持监听的表和一张静态表join吗,这个静态表没有监听
参考回答:
可以的,使用flink的维表join
b是我通过jdbc连接表,a表是cdc的表,如何启动的方式不能动态变化,是固定的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567540
问题三:Flink CDC支持写入hdfs吗?
Flink CDC支持写入hdfs吗?我在官方文档上没有看到hdfs connector
参考回答:
一般都是写数仓,数据湖,他们很多依赖于hdfs, file system我理解是可以的,一般也不这么写
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567377
问题四:flink cdc针对这两个阶段,如何证明或者验证数据库中所有数据都被正确同步了呢?
使用flink cdc同步mongodb数据到hudi,其中包含了snapshit和incremental两个阶段。针对这两个阶段,如何证明或者验证数据库中所有数据都被正确同步了呢?
参考回答:
为了证明 Flink CDC 将 MongoDB 数据正确同步到 Hudi 中,您可以采取以下措施:
- 使用 MongoDB 查询来验证数据同步的结果:首先,在 MongoDB 中创建一个具有相同结构的新表,并将源表中的数据复制到新表中。然后,比较新表中的数据和 Hudi 中的数据。如果两者的结构和内容完全一致,则表明 Flink CDC 正确地将数据同步到了 Hudi 中。
- 使用 Hudi CLI 工具来检查数据:您可以使用 Hudi CLI 工具来检查 Hudi 中的数据是否与源表中的数据匹配。例如,您可以使用 hudi-cli.sh 命令行工具来列出 Hudi 中的数据,或者使用 hudi-bulk-import 工具来导入 Hudi 中的数据。
- 使用 Hive 或 Presto 来查询 Hudi 中的数据:如果您已经将 Hudi 数据导入 Hive 或 Presto 中,则可以使用 Hive 或 Presto 来查询数据,以确保数据已经被正确同步。
请注意,由于 Flink CDC 在增量同步阶段只会更新 Hudi 中的数据,因此您需要分别验证快照和增量阶段的数据是否被正确同步。对于快照阶段,您可以使用上述第一种方法来验证;对于增量阶段,您可以使用第二种方法来验证。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570191
问题五:flinksql插入mysql的数据,mysql的id设置了自增,这个问题有遇到过吗?
flinksql插入mysql的数据,mysql的id设置了自增,但是flinksql提示要制定主键,制定主键之后,又提示id不能为空,这个问题有遇到过吗?
不带提示这个
参考回答:
inser into 的时候指定字段,不要带id,也就是sink-tabl 的主键是业务主键,这个id改成业务主键的
primary key (bill_no,type),jdbc的表,不要带id
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570190