开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

作业任务的调度过程是怎样的?

作业任务的调度过程是怎样的?

展开
收起
詹姆斯邦德00 2021-11-17 17:12:56 525 0
1 条回答
写回答
取消 提交回答
  • 任务具有很多种不同状态,最初任务处在 Created 状态。当调度策略认为这个任务可以开始被调的时候,它会转到 Scheduled 状态,并开始申请资源,即Slot。申请到 Slot 之后,它就转到 Deploying 状态来生成 Task 的描述,并部署到worker 节点上,再之后 Task 就会在 worker 节点上启动起来。成功启动后,它会在 worker 节点上转到 running 状态并通知 JobMaster,然后在 JobMaster 端把任务的状态转到 running。

    对于无限流的作业来说,转到 running 状态就是最终状态了;对于有限流的作业,一旦所有数据处理完了,任务还会转到 finished 状态,标志任务完成。当有异常发生时,任务也会转到 Failed 的状态,同时其它受到影响的任务可能会被 Cancel掉并走到 Canceled 状态。

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    2021-11-17 19:31:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Flink中的两类新型状态存储 立即下载
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时 立即下载
Android内存泄漏自动化链路分析组件Probe 立即下载