开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中每一个taskmanager的槽位slots配置数,一般生产配置多少呢?

Flink CDC中每一个taskmanager的槽位slots配置数,一般生产配置多少呢?我看网上很多都说要根据CPU核数来配,而是建议小于等于核数。但是能提交的job数最多只能等于slots数,再多就报错了。那生产肯定会有很多job,不可能需要配置那么多的CPU资源吧?flinkCDC是不是不支持国产化的那些数据库?比方达梦。

展开
收起
十一0204 2023-07-24 21:39:40 300 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink CDC 中每个 TaskManager 的 Slot 数量的配置需要根据实际情况进行调整,一般建议根据以下因素进行权衡:
    硬件资源:Flink 集群的硬件资源是配置 Slot 数量的重要因素。如果硬件资源足够充足,可以适当提高 Slot 数量,以提高任务的并发度和处理能力。通常建议将 Slot 数量设置为每个 TaskManager 的 CPU 核心数的两倍左右。
    任务负载:Flink CDC 的任务负载量也是配置 Slot 数量的重要因素。如果任务负载量较大,可以适当提高 Slot 数量,以提高任务的执行效率和吞吐量。如果任务负载量较小,可以适当降低 Slot 数量,以避免资源浪费和竞争冲突。
    高可用性:在配置 Slot 数量时,还需要考虑高可用性的因素。如果需要保证任务的高可用性,需要为每个 TaskManager 配置足够的 Slot 数量,以防止任务因 TaskManager 故障而无法正常运行。

    2023-07-29 18:50:40
    赞同 展开评论 打赏
  • 意中人就是我呀!

    flink-cdc主要依赖debezium,debezium没有,所以没有,可以让达梦厂商自己来开发连接器。此回答整理至钉群“Flink CDC 社区”

    2023-07-26 11:27:28
    赞同 展开评论 打赏
  • 存在即是合理

    Flink CDC 的 slot 数配置应该根据Flink 集群的 CPU 核数来决定。一般情况下,每个 TaskManager 节点的可用 CPU 内核数与 Slot 的数量成比例。但是,如果Flink 作业需要处理大量的数据流,那么可能需要增加更多的 TaskManager 节点以提高集群的吞吐量和可伸缩性。

    至于国产化数据库的问题,Flink CDC 支持多种类型的数据库,包括 MySQL、PostgreSQL、Oracle、SQL Server、DB2 和达梦等 。

    2023-07-25 18:41:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载