问题一:各位有遇到过flinkcdc 同步oracle表时,任务不报错,但是读不到数据的情况吗?
各位有遇到过flinkcdc 同步oracle表时,任务不报错,但是读不到数据的情况吗?
参考答案:
同步 mysql 的时候遇到过同步了1条就没数据的情况。id 跨度太大了 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/618763
问题二:flink cdc 配置了 MySQL同步到Doris, 这个是有啥参数配置吗?
flink cdc 配置了 MySQL同步到Doris, source配置了 tables: test..* ,MySQL有新增表的话但是Doris里面没有创建,重启CDC任务就可以?这个是有啥参数配置吗?
参考答案:
目前不支持运行中动态发现并新增表
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/618760
问题三:Flink1.17以上的 使用yaml方式,可以设置提交到yarn集群上面吗?
Flink1.17以上的 使用yaml方式,可以设置提交到yarn集群上面吗?
参考答案:
可以的
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/618758
问题四:github上面的flink-cdc 在flink1.16版本支持吗?
github上面的flink-cdc 在flink1.16版本支持吗,MySQL to doris的,可以flink on yarn 模式启动吗?
参考答案:
yaml 的方式需要flink 1.17以上,sql 方式1.16可以支持 msyql cdc source
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/618757
问题五:Flink DataStream keyby以后reduce,如果只想保留最后的结果有什么好办法吗?
Flink DataStream keyby 以后reduce,发现只是后一个记录的数值相加了,但原来第一个记录也还在reduce以后的流里面,记录并没有减少,如果只想保留最后的结果有什么好办法吗?
参考答案:
如果只想输出一条的话,需要切成批执行模式,批模式就是为了处理大数据量的,吞吐比流要高
关于本问题的更多回答可点击进行查看: