问题一:mysql是date类型字段,Flink CDC处理后是一个负值时间戳,请问这个怎么解决?
mysql是date类型字段,Flink CDC处理后是一个负值时间戳,请问这个怎么解决?
参考答案:
需要自定义一个时间转换器,实现这个类,网上有很多写好的改改就行了。或者有的连接器会提供现成的时间转换器
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584532
问题二:Flink CDC中使用idea执行flink作业的时候,怎么开启火焰图呀?
Flink CDC中使用idea执行flink作业的时候,怎么开启火焰图呀?
参考答案:
configuration.set(RestOptions.ENABLE_FLAMEGRAPH, true); ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584531
问题三:Flink CDC哪位大佬采集过sqlserver 从节点的,可否指点一下啊?
Flink CDC哪位大佬采集过sqlserver 从节点的,可否指点一下啊?
参考答案:
从节点开启cdc功能就可以了吧
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584528
问题四:Flink CDC有遇到同步pg 数据库 中文列乱码,中文表乱码,但是里面的值不乱码的情况吗?
Flink CDC有遇到同步pg 数据库 中文列乱码,中文表乱码,但是里面的值不乱码的情况吗?
参考答案:
你这个代码怎么感觉是自定义序列化了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/584527
问题五:Flink CDC这种反压怎么处理呀?
Flink CDC中,代码里面就是取的mysql数据写入到doris的,并行度是全局1,就只有一个子任务,这种反压怎么处理呀?
参考答案:
因为doris每一次数据导入都会在be节点上生成数据文件;如果高频导入小量数据,就会在存储层产生大量的小文件,也会产生更多的compaction操作压力,像这种简单的,没有特别复杂的ETL任务,checking point时间间隔给个10分钟都可以
关于本问题的更多回答可点击进行查看: