开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

parallelism.default: 1 把flink这个参数调大后,cdc的同步的数据只会全量

parallelism.default: 1 把flink这个参数调大后,cdc的同步的数据只会全量同步完一次,后面数据进行修改也不会更新了,有人知道怎么回事吗?

展开
收起
爱喝咖啡嘿 2023-01-03 16:25:06 223 0
1 条回答
写回答
取消 提交回答
  • 该参数parallelism.default用于指定 Flink 作业的默认并行度。它确定将创建以执行作业的任务的并行实例数。

    如果您增加此参数的值并且您注意到数据只被完全同步一次,然后更新没有被传播,这可能是由于几个不同的原因:

    数据源可能无法正确或一致地生成更新。 Flink 作业本身可能存在问题,例如错误或配置不正确,从而阻止其正确处理更新。 接收数据的下游系统可能存在问题,例如无法处理或持久更新。 要解决此问题,您可能需要考虑:

    查看 Flink 作业的日志和配置,看看是否有任何关于可能导致问题的线索。 检查数据源以确保它正确地生成更新。 检查下游系统以查看其是否正常运行并能够处理更新。 查看 Flink 作业和涉及的系统的文档,看看是否有任何已知问题或解决类似问题的建议也可能会有所帮助。

    2023-01-03 22:30:53
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载