问题一:在Flink如果cdc任务 关闭再重启 能保证消费位点的准确性么?
在Flink如果cdc任务 关闭再重启 能保证消费位点的准确性么?
参考答案:
关闭前创建快照,就可以了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/658100
问题二:在Flink大概什么样的场景会需要用到流批一体?一边处理实时流,一边批处理历史数据
在Flink大概什么样的场景会需要用到流批一体?一边处理实时流,一边批处理历史数据
参考答案:
实时数据分析融合
数据湖分析
统一运维和管理
事件驱动应用
数据治理与质量
以上场景对流批一体的Flink特别有用,使用Flink的批处理能力对过去一段时间的数据进行深度挖掘,同时实时处理新数据以支持实时决策。可看Flink批处理快速入门
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/654886
问题三:在Flink,10点这1亿的数据会限流吗?tps如何呢?
比如我odps离线表是一个小时调度表,10点的时候进入了1亿,12点来了200w。
在Flink,10点这1亿的数据会限流吗?tps如何呢?
参考答案:
flink不会自己限流,如果出现反压,那作业就会处理的慢 ,如果是简单的任务,1CU大概处理40000-50000条数据
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/641785
问题四:在Flink CDC中ORACLE19C CDB+PDB 抽取数据,是不是只能从主库去抽取?
在Flink CDC中ORACLE19C CDB+PDB 抽取数据,是不是只能从主库去抽取?
参考答案:
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657823
问题五:在Flink CDC中mysql同步到doris,库名不同的情况,要怎么配置?
在Flink CDC中mysql同步到doris,库名不同的情况,要怎么配置?
参考答案:
要实现MySQL同步到Doris,并且源库和目标库的库名不同,可以通过配置文件中的route部分来实现库名和表名的映射
定义源和目标表:在配置文件中,使用source部分定义MySQL数据库的连接信息和需要同步的表,使用sink部分定义Doris的连接信息。
路由配置:在route部分,通过source-table指定源表(包括库名和表名),通过sink-table指定目标表(包括目标库名和表名)。这样可以实现将不同库名的表同步到统一的库名下
大致就是这样
关于本问题的更多回答可点击进行查看: