开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问 flink sql CDC 如何实现维表延迟join?

请问 flink sql CDC 如何实现维表延迟join?

展开
收起
十一0204 2023-04-10 20:45:13 348 0
2 条回答
写回答
取消 提交回答
  • 意中人就是我呀!

    有一个时态join,还有手动控制状态,链接两个流,然后process,但这个是要写代码 我现在想找直接写SQL的 因为任务很多 十几个任务 如果都改为写代码 来不及。此答案整理自钉群“Flink CDC 社区”

    2023-04-12 08:59:51
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。

    可以采用 Flink 的异步 IO 方案实现,具体步骤如下:

    1. 将维表数据写入 Flink 的状态后端,这里需要使用 RocksDB 等支持快速的随机读取的状态后端。

    2. 在 Flink SQL 中,使用 Async I/O function 将 lookup、join 等操作进行异步化处理。

    3. 在 SQL 中定义 Async I/O function,并指定异步查询逻辑和返回数据的格式。在异步查询时,如果内存中的状态找不到相应的维度数据,则 Async I/O function 会在状态后端中查询对应的数据。

    4. 定义流处理程序,将 CDC 和异步查询合并处理。Flink SQL CDC 可以通过查询 MySQL 数据库中的变更日志,将变更数据同步到 Flink 中进行实时计算。在计算过程中,根据异步查询的结果将维度数据作为数据流与变更数据流进行 join 操作,从而实现维表延迟 join。

    2023-04-10 23:51:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server在电子商务中的应用与实践 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载