开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC有谁做过sqlserver端的cdc读取速度的优化吗?

Flink CDC有谁做过sqlserver端的cdc读取速度的优化吗?每分钟现在150wan条,提升不上去了

展开
收起
真的很搞笑 2023-09-28 10:41:06 89 0
1 条回答
写回答
取消 提交回答
  • Flink CDC SQLServer 端的 CDC读取速度可以通过以下方式进行优化:

    使用 cdc_enabled 表来限制 CDC 的启动范围
    在 SQL Server 中使用列存储表
    使用 Flink CDC 的批处理模式
    使用 Flink CDC 的批处理模式,限制并行度
    以下是具体说明:

    使用 cdc_enabled 表来限制 CDC 的启动范围
    可以使用 cdc_enabled 表来限制 CDC 的启动范围,这可以减少 CDC 的扫描范围,从而提高 CDC 的读取速度。

    在 SQL Server 中使用列存储表
    在 SQL Server 中使用列存储表可以提高 CDC 的读取速度,因为列存储表可以减少 CDC 扫描的记录数。

    使用 Flink CDC 的批处理模式
    Flink CDC 提供了批处理模式,可以提高 CDC 的读取速度。在批处理模式下,Flink CDC 会以批处理的方式处理 CDC 日志,这可以减少 CDC 的扫描次数。

    使用 Flink CDC 的批处理模式,限制并行度
    在使用 Flink CDC 的批处理模式时,可以限制并行度,这可以提高 CDC 的读取速度。限制并行度可以减少 CDC 处理的记录数,从而提高 CDC 的读取速度。

    2023-10-18 10:14:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载