开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

伏羲资源调度 2.0的结构是什么样的?

伏羲资源调度 2.0的结构是什么样的?

展开
收起
游客lmkkns5ck6auu 2022-08-10 10:44:13 375 0
1 条回答
写回答
取消 提交回答
  • 将系统中最核心的资源管理和资源调度逻辑进行了拆分解耦,使两者同时具备了多partition的可扩展能力(如下图所示),其中: ·资源调度器(Scheduler):负责核心的机器资源和作业资源需求匹配的调度逻辑,可以横向扩展;

    ·资源管理和仲裁服务(ResourceManagerService,简称RMS):负责机器资源和状态管理,对各个 Scheduler 的调度结果进行仲裁,可以横向扩展;

    ·调度协调服务(Coordinator):管理资源调度系统的配置信息,Meta 信息,以及对机器资源、Scheduler、RMS 的可用性和服务角色间的可见性做仲裁。不可横向扩展,但有秒级多机主备切换能力;

    ·调度信息收集监控服务(FuxiEye):统计集群中每台机的运行状态信息,给Scheduler 提供调度决策支持,可以横向扩展;

    ·用户接口服务(ApiServer):为资源调度系统提供外部调用的总入口,会根据Coordinator 提供的 Meta 信息将用户请求路由到资源调度系统具体的某一个服务上,可以横向扩展。

    以上内容摘自《“伏羲”神算》电子书,点击https://developer.aliyun.com/topic/download?id=873

    2022-08-10 17:44:54
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
“伏羲”神算 立即下载
基于etcd的超大规模生产级弹性键值存储实践与优化 立即下载
“伏羲”神算-阿里巴巴经济体核心调度系统揭秘 立即下载