请问 flink sql CDC 如何实现维表延迟join?
有一个时态join,还有手动控制状态,链接两个流,然后process,但这个是要写代码 我现在想找直接写SQL的 因为任务很多 十几个任务 如果都改为写代码 来不及。此答案整理自钉群“Flink CDC 社区”
将维表数据写入 Flink 的状态后端,这里需要使用 RocksDB 等支持快速的随机读取的状态后端。
在 Flink SQL 中,使用 Async I/O function 将 lookup、join 等操作进行异步化处理。
在 SQL 中定义 Async I/O function,并指定异步查询逻辑和返回数据的格式。在异步查询时,如果内存中的状态找不到相应的维度数据,则 Async I/O function 会在状态后端中查询对应的数据。
定义流处理程序,将 CDC 和异步查询合并处理。Flink SQL CDC 可以通过查询 MySQL 数据库中的变更日志,将变更数据同步到 Flink 中进行实时计算。在计算过程中,根据异步查询的结果将维度数据作为数据流与变更数据流进行 join 操作,从而实现维表延迟 join。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。