开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC doris 是这个調搞并行度吗?

Flink CDC doris 是这个調搞并行度吗? a1ceb64cde49d52a9225db11789f45df.png

展开
收起
wenti 2023-02-06 16:35:22 218 0
2 条回答
写回答
取消 提交回答
  • 从你提供的图片来看,Flink CDC to Doris 的并行度可以从以下两个维度进行调整:

    1. Source 并行度

    Source 并行度是指 Flink CDC 读取数据源(如 MySQL)的并行度,可以从 Source properties 中的 scan.並行度 参数进行调整。

    2. Sink 并行度

    Sink 并行度是指 Flink CDC 写入数据接收器(如 Doris)的并行度,可以从 Sink properties 中的 sink.並行度 参数进行调整。

    一般来说,Source 并行度和 Sink 并行度应该设置为相同的值,以确保数据处理速度和写入性能的均衡。

    最佳实践:

    • 对于写入性能要求较高的场景,可以适当增加 Sink 并行度,以提高写入吞吐量。
    • 对于数据处理速度要求较高的场景,可以适当增加 Source 并行度,以加快数据读取速度。
    • 在调整并行度时,需要考虑数据源和数据接收器的处理能力,避免出现资源瓶颈或数据积压的情况。

    注意:

    • Flink CDC 的并行度需要根据实际的数据量和处理能力进行调整。
    • 如果并行度设置过小,可能会导致数据处理速度慢或写入性能差。
    • 如果并行度设置过大,可能会导致资源浪费或数据积压。

    具体到你的图片示例中:

    图片中显示的 Flink CDC to Doris 的并行度均设置为 4,这表明 Source 并行度和 Sink 并行度都设置为 4。这是一种常见的并行度设置,适合于中等规模的数据量和处理能力。

    如果你需要调整并行度,可以根据实际情况修改 Source properties 和 Sink properties 中的 並行度 参数。

    2024-02-27 17:40:45
    赞同 展开评论 打赏
  • 是的,对应的数值越小,Flink侧的并行度越高。

    2023-02-09 23:23:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载