Flink全托管的基本计量单位为Compute Unit(CU),即计算资源,1 CU=1核CPU+4 GiB内存。
在简单业务场景下(例如单流过滤、字符串变换等操作)1 CU每秒可以处理30000~40000条数据。
在复杂的流式压测处理场景下(例如复杂UDF计算、聚合操作等),
1 CU每秒可以处理5000~10000条数据。
资源模式为基础模式,相关配置如下:
JobManager CPU Cores:0.25 Core
JobManager Memory:1 GiB
TaskManager CPU Cores:1 Core
TaskManager Memory:4 GiB
并发度:1
资源模式为专家模式下,针对单个Slot配置内存,内存配置项为Task Heap内存以及Task Off-Heap内存,专家模式下,系统会根据作业的计算逻辑按需自动生成Statebackend、Python和Operator所需的内存,无需您手动进行配置。
请根据业务情况,通过性能测试,逐步确定最终业务需要的CU数量 单个JM最小需要配置0.5 core和1Gi才可以保证作业稳定运行,单个TM最小需要配置0.25 core和1Gi才可以保证作业稳定运行。