开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

作业初始资源设置,如何调优?

作业初始资源设置,如何调优?

展开
收起
Medusa 2021-11-12 16:07:47 325 0
1 条回答
写回答
取消 提交回答
  • 调优这一块主要是借助于作业的运行是情况,我们会去关注一些重点指标,比如说有 没有产生数据的倾斜,维表的 Lookup Join 需要访问外部存储,有没有产生 IO 的瓶颈, 这都是影响作业性能的常见瓶颈点,需要加以关注。 在实时计算 Flink 产品上集成了一个叫 AutoPilot 的功能,可以理解为类似于自动驾驶, 在这种功能下,初始资源设多少就不是一个麻烦问题了。

    在产品上,设定作业最大的资源限制后,根据实际的数据处理量,该用多少资源可以由引擎自动帮我们去调到最优状态,根据负载情况来做伸缩。

    资料来源:《实时数仓“王炸组合”-实时计算》,下载链接:https://developer.aliyun.com/topic/download?id=7944

    2021-11-12 18:03:34
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载

相关实验场景

更多