问题一:Flink CDC设置了batch写入?
Flink CDC设置了batch写入?
参考回答:
我没看到这个参数,你用的是dinky开发平台吧,你现在是2.0的,版本都不一定100%适配的,这个不太好判断,最好是多刷点增量数据看看效果
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567826
问题二:Flink CDC有没有什么设置 可以自动找到的 ?
Flink CDC我们这边测试发现sql-client方式启动job必须要手动设置savepoints,才能保证增量数据恢复吗?有没有什么设置 可以自动找到的 ?我们就是任务起来后 现在手动保存了一次savepoint 再次停止job,重新起一个job 如果不设置savepoints 发现还是全量 手动设置了就是增量
参考回答:
找个开发平台,开发平台也需要手动保存一次快照,对啊,都是需要手动指定,程序自动重启走的是checkpoint的,这个是不需要你指定的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567825
问题三:flinkcdc2.2.1同步完了之后增量的数据延迟能达到20分钟甚至一直不写入,可能是什么问题啊?
flinkcdc2.2.1同步mysql数据写入doris2.0 ,在同步历史数据的时候没有问题,同步完了之后增量的数据延迟能达到20分钟甚至一直不写入,可能是什么问题啊?日志里面也没有报错,测试造的几条数据
参考回答:
增量数据太少,一直没刷出去,一般是批量写数据到下游,减少下游数据库的压力,批量写,定时刷,那你需要去doris的官网看下连接器的参数配置
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567821
问题四:Flink CDC用到这个这种模式构建的Source吗?
Flink CDC用到这个这种模式构建的Source吗?
这种没有serverTimeZone()这个方法
参考回答:
看起来你是在使用Flink的Kafka connector。在Flink 2.4.2中,Kafka connector的Schema字段默认是STRING类型,而不是INT类型。这可能是导致你看到的错误的原因。
在你的代码中,你试图将一个Long类型的值转换为String类型,这可能是因为你在Kafka中存储的是Long类型的值,但是在Flink中,你使用了STRING类型的Schema来读取这些值。
你可以尝试以下几种方法来解决这个问题:
- 在你的Kafka producer中,将数据类型设置为INT类型,而不是Long类型。
- 在你的Flink Kafka connector中,将Schema字段的类型设置为INT类型,而不是STRING类型。
- 如果你的Kafka producer已经将数据类型设置为Long类型,并且你不能改变这个设置,那么你可能需要在Flink中添加一些额外的代码来处理这种类型转换。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567820
问题五:Flink CDC2.4有木有遇到这个问题呢?
Flink CDC2.4有木有遇到这个问题呢?
参考回答:
这个问题可能是由于Flink CDC 2.4版本与Kafka Connect的版本不兼容导致的。请检查您的Flink CDC和Kafka Connect的版本是否匹配,或者尝试升级或降级其中一个版本以解决此问题。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567819