问题一:我用flinkcdc做update和delete的时候目标库要等10分钟左右才变更,为什么会这么慢?
我用flinkcdc做update和delete的时候目标库要等10分钟左右才会变更,为什么会这么慢啊?跟checkpoint有关系吗?
参考答案:
看看是业务延迟了吗,如果不是,看下checkpoint多久一次,多久一次才做成功。配Oracle参数。 百度一大堆。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/609846
问题二:Flink CDC里问个大数据中间件选型的问题怎么办?
Flink CDC里问个大数据中间件选型的问题怎么办? mysql大概有几万左右,kafka每秒3万条。mysql中的数据有更新,但是不是很频繁。列式存储db可以解决吧,选哪种列式储存呢?
参考答案:
可以放redis;如果你内存充裕,也可以放内存变量中通过广播更新。ck偏向于离线场景。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/609844
问题三:Flink CDC用哪个版本好?升级是自己全部用api重写的同步,还是套用了cdc官方版本?
Flink CDC用哪个版本好?升级是自己全部用api重写的同步,还是套用了cdc官方版本?
参考答案:
我从2.3.0升到3.0.1。3.0.1目前还在测试。重写了部分API。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/609839
问题四:Flink设置了这两个参数,但还是会被清理,只留下元目录,chk-1会被清理,如何解决?
Flink设置了这两个参数,但还是会被清理,只留下元目录,chk-1会被清理?
参考答案:
增量 chk 只保留10个 以前的当然被清理掉
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/609776
问题五:Flink的任务取消之后,检查点目录直接被删除了,该如何避免呢?
Flink的任务取消之后,检查点目录直接被删除了,该如何避免呢?
参考答案:
关于本问题的更多回答可点击进行查看: