开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink的校验和订正一般是怎么做的?

flink的校验和订正一般是怎么做的?

展开
收起
真的很搞笑 2024-07-08 10:27:56 26 0
1 条回答
写回答
取消 提交回答
  • Flink的校验和订正通常是在数据迁移或作业恢复时确保数据一致性的一种方法。在阿里云实时计算Flink版中,可以利用Checkpoints和Savepoints来实现这一目标。Checkpoints是幂等的全状态快照,而Savepoints是用户触发的可移动状态保存。在迁移Flink作业时,可以通过比较新旧作业在相同Checkpoint或Savepoint状态下的数据,进行校验和比对,确保数据一致性。一旦新作业的数据产出和旧作业在相同状态下的输出一致,且新作业运行稳定,就可以考虑进行业务切换。Flink Checkpoints和Savepoints的信息,可以参考官方文档

    2024-07-08 14:40:11
    赞同 5 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载