开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问flinkcdc sql不支持窗口统计么?报错不支持上游包含update和delete操作。

请问flinkcdc sql不支持窗口统计么?报错不支持上游包含update和delete操作。

展开
收起
十一0204 2023-04-10 21:05:57 224 0
1 条回答
写回答
取消 提交回答
  • 坚持这件事孤独又漫长。
    • Flink CDC SQL 支持窗口统计,但是在使用 CDC 进行数据同步时,由于 CDC 机制的限制,无法支持上游包含 UPDATE 和 DELETE 操作的表进行实时数据同步,因此会报错。

    • 更准确地说,Flink CDC SQL 支持通过在 SQL 中定义窗口进行统计,但是如果上游表包含 UPDATE 和 DELETE 操作,则会影响到 CDC 机制实时获取到的变化数据流,导致无法正确地输出更新后的结果。这也是 Flink CDC 在处理实时数据同步时的一个基本限制。

    • 解决此问题的一种方法是,对于需要进行实时同步的数据表,在设计时尽量避免使用 UPDATE 和 DELETE 操作,而是采用插入新数据的方式进行数据更新和删除。这样可以避免 CDC 机制的限制,确保实时数据同步能够正常进行。

    2023-04-11 08:51:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
SQL Server 2017 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载