开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里数据源为数据库CDC表时,无法用表值函数啊,这种问题怎么解决?

Flink CDC里数据源为数据库CDC表时,无法用表值函数啊,这种问题怎么解决?d35d7e4b76609ef6c2f422bba91402f3.png4851d95b6ebcb5202f5ad7a8a84e021e.png比如数据是这种,用表值函数每30分钟一个窗口的话就能生成一条数据。直接group by还不太好处理了。这种窗口是不是主要用来处理日志?

展开
收起
小小鹿鹿鹿 2024-01-18 00:09:45 41 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    当Flink CDC的数据源为数据库CDC表时,无法直接使用表值函数。这是因为数据库CDC表通常不支持表值函数的调用。

    要解决这个问题,可以考虑以下两种方法:

    1. 使用SQL查询语句:可以在Flink SQL中使用SELECT语句来查询数据库CDC表中的数据,并使用其他SQL功能(如JOIN、GROUP BY等)对数据进行处理和转换。这样可以避免直接使用表值函数的限制。

    2. 自定义转换逻辑:如果需要使用特定的表值函数进行数据处理,可以自定义一个转换函数来实现该功能。在Flink CDC中,可以通过编写用户自定义的AssignerProcessFunction来实现数据的转换逻辑。这样可以灵活地处理数据库CDC表中的数据,并应用所需的表值函数。

    2024-01-19 15:40:57
    赞同 展开评论 打赏
  • 直接用时间来group by ,cdc的sql不支持窗口的。此回答来自钉群Flink CDC 社区。

    2024-01-18 10:41:41
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载