开发者社区 > 大数据与机器学习 > 正文

各位大佬,有做过Flink CDC作业轮巡运行的案例吗?我这边有1000+采集作业,增量数据都不大。

问题1:各位大佬,有做过Flink CDC作业轮巡运行的案例吗?我这边有1000+采集作业,增量数据都不大。想搞一个轮巡机制,每次跑100个作业。跑一会自动停止,再跑下一批?提前以配置表的形式配好image.png 问题2:主要是现在流程我都没跑通,请问一下这个Default 20 是在哪里配置的?我都没找到

展开
收起
真的很搞笑 2023-06-11 14:29:30 86 0
1 条回答
写回答
取消 提交回答
  • 回答1:大佬,求教怎么配置的同时跑到100+ 的作业的,我的为啥只能跑19个作业?Default 20 ,你可以增大这个数量,一般来说,连接数太多了对mysql也不好,这个时候使用整库同步居多 回答2;ddl配置里面,你添加,你不是cdc数据源吗?image.png image.png 在with的参数里面加,你先跑通再说吧,一般这种cdc太多了对mysql也不好,你应该考虑整库同步之类的,此回答整理自钉群“Flink CDC 社区”

    2023-06-11 14:37:10
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载