开发者社区> 问答> 正文

E-MapReduce YARN上ApplicationMaster资源超过Queue限制该如何处理

已解决

E-MapReduce YARN上ApplicationMaster资源超过Queue限制该如何处理

展开
收起
阿里云服务支持 2022-12-06 13:44:13 199 0
1 条回答
写回答
取消 提交回答
  • 官方回答

    任务在YARN上运行时会先启动一个ApplicationMaster,由这个Master来申请运行数据的资源,但是有一个参数会限制Master占用YARN资源的百分比,默认是0.25(25%)。如果作业都是消耗资源比较小的任务,建议修改yarn.scheduler.capacity.maximum-am-resource-percent的值,调整到0.5~0.8之间,修改参数后无需重启服务,可以直接在节点上执行yarn rmadmin -refreshQueues命令。

    2022-12-06 14:32:12
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载