开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问flinkcdc中有没有替代方案,我做的是追溯业务,表之间有关联关系。

请问flinkcdc中有没有替代方案,我做的是追溯业务,表之间有关联关系,现在全量阶段时会按表名顺序读表中的历史数据,先读后面的表数据,再读前表的数据,这样关联关系就对应不上了,我想能不能按照给定的表顺序来读?我不太会flink,用的比较挫的方法,一条一条数据处理的,先来的数据先入库,后面的数据来了再关联前面的数据。这样增量的时候没啥问题,全量就不行了。

展开
收起
十一0204 2023-07-19 16:51:29 98 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    如果您在使用 Flink CDC 时遇到问题,可以考虑以下替代方案:

    使用 Flink SQL:Flink SQL 是一种基于 SQL 的编程模型,可用于处理结构化数据。使用 Flink SQL,您可以使用 SQL 语句实现数据的抽取、转换和加载。Flink 支持多种数据源和格式,包括 Kafka、HDFS、Hive 和 JDBC 等。如果您的数据源是关系数据库,您可以使用 Flink SQL 直接从数据库中读取数据,并进行关联查询和转换。

    使用 Flink Table API:Flink Table API 是一种基于表格的编程模型,可用于处理结构化数据。使用 Flink Table API,您可以使用 Java 或 Scala 代码实现数据的抽取、转换和加载。Flink Table API 提供了丰富的操作符和函数,可用于处理各种数据类型和格式。如果您的数据源是关系数据库,您可以使用 Flink Table API 直接从数据库中读取数据,并进行关联查询和转换。

    使用其他 CDC 工具:如果 Flink CDC 不适合您的业务需求,您可以考虑使用其他 CDC 工具。目前市场上有许多 CDC 工具可供

    2023-07-29 21:07:49
    赞同 展开评论 打赏
  • 意中人就是我呀!

    改一下源码呗,这个逻辑很简单的,好改。此回答整理至钉群“Flink CDC 社区”。

    2023-07-19 17:31:33
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载