年前任务 所需要的技术 FlinkSQL TiDB Doris Paimon HDFS？

年前任务

所需要的技术
FlinkSQL TiDB Doris Paimon HDFS Kafka
FlinkSQL 数据同步（ODS），数据清洗（DWD DIM）数据统计 （DWS）

1，将MySQL数据同步到 Paimon ODS层 并同步到Doris 对应ODS库
2，通过Paimon数据湖进行数据DWD的清洗写入到Kafka 和 Paimon
3，通过Kafka DWD层数据进行清洗 写入TiDB DIM DWS层


Paimon只保留 ODS DWD数据，Doris 也只保留ODS数据
Doris开放给提数，进行数据隔离

TiDB只保存生产环境需要查询的数据

后续Flink版本 1.14 CDC 2.4
TiDB版本 最新版本 需要部署TiFlash
Doris使用最新版本
Kafka最新版本

CDCSOURCE 整库同步 Paimon 和 Doris 需要验证

我们现在的问题是，离线一套实时一套，数据有问题的话，通过离线的修复，有时候还会有问题
jojoki14:01成本过高，我现在想通过数据湖，Kafka MySQL数据通过FlinkSQL 同步到Paimon 的ODS层
然后通过Paimon进行数据清洗，通过FlinkSQL同步到Kafka DWD 和DIM 或者继续写入到Paimon
jojoki14:03这样的话，如果实时数据有问题的话，我这里只需要在Paimon ODS 做一个分区字段 过滤，重启一下就可以把数据重新推送一次？我这样做有问题么