开发者社区> 问答> 正文

hadoop中作业调度流程是什么样的?

hadoop中作业调度流程是什么样的?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:17:01 269 0
1 条回答
写回答
取消 提交回答
  • Client 通过submitJob()函数向JobTracker提交一个作业。 JobTacker接收到用户的作业提交后会通过notify()函数通知调度器TaskScheduler有新作业 TaskTracker通过heartbeat心跳机制向JobTacker汇报TaskTracker的资源情况,JobTreacker同时获取TaskTrackerStatus信息,如果TaskTracker资源是空闲的,则主动向JobTracker请求分配任务。 JobTracker根据对TaskTracker资源的管理情况,请求调度器TaskScheduler分配作业,TaskScheduler根据对应的资源情况和任务数量,分配作业列表返回给JobTracker。 JobTracker接收到分配的作业列表,再通过HeartBeat心跳信息将任务分发给具体的TaskTracker,最终启动Task任务完成作业。

    2021-12-06 08:19:54
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关实验场景

更多