开发者社区> 问答> 正文

Flink处理能力怎么评估

已解决

Flink处理能力怎么评估

展开
收起
提个问题 2024-06-12 19:13:09 60 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    • 资源估算Flink全托管的基本计量单位为Compute Unit(CU),即计算资源,1 CU=1核CPU+4 GiB内存。CU对应实时计算底层系统的CPU计算能力。1个实时计算作业(Job)的CU使用量取决于此Job输入数据流的QPS、计算复杂程度,以及具体的输入数据分布情况。您可以根据业务规模以及实时计算的计算能力,估算所需购买的资源数量。实时计算1 CU的处理能力如下所示。
      • 简单业务例如,单流过滤、字符串变换等操作。1 CU每秒可以处理30000~40000条数据。
      • 复杂业务例如,JOIN、GROUP BY或窗口函数等操作。1 CU每秒可以处理5000~10000条数据。
    说明:
    • 上述计算能力估值仅限于实时计算内部处理能力,不包括对外数据读取和写入部分。外部数据的读写效率会影响您对实时计算能力的评估,例如:
      • 如果实时计算需要从日志服务(LogService)读取数据,但LogService对于请求调用配额(Quota)存在一定限制,则实时计算整体的计算能力将被限制在LogService允许的范围内。
      • 如果实时计算引用的RDS数据存储存在连接数或者TPS限制,则实时计算吞吐能力将受限于RDS本身的流控限制。
      • 如果作业中使用窗口函数,CU的使用量会比简单作业高,建议至少购买4 CU。
    2024-06-12 19:13:10
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载