开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

为啥大数据计算MaxCompute其他作业Owner跑数会占用tmpMcQuota哦?

34ceea35ba1f49527aa3232db0b1ecfe.png
大数据计算MaxCompute(二级quota)开启了独占并指定了作业Owner,请问为啥其他作业Owner跑数会占用tmpMcQuota哦?

展开
收起
嘟嘟嘟嘟嘟嘟 2024-07-13 23:40:13 53 0
2 条回答
写回答
取消 提交回答
  • tmpmcquota这个二级quota设置了独占,但mincu是0。
    3f66fd2534bdb4e74442f990ff6f5f0d.png

    如果要独占,建议mincu=maxcu
    参考文档: https://help.aliyun.com/zh/maxcompute/user-guide/manage-quotas-in-the-new-maxcompute-console?spm=a2c4g.11186623.0.0.7e27613fH3Hcxj
    此回答整理自钉群“MaxCompute开发者社区1群”

    2024-07-16 07:48:11
    赞同 1 展开评论 打赏
  • 技术浪潮涌向前,学习脚步永绵绵。

    其他作业Owner在运行任务时占用tmpMcQuota(临时内存配额)通常是因为以下几个原因:

    1. 资源管理机制:在很多计算平台或分布式系统中,为了防止作业运行时因资源不足而导致的失败或性能下降,系统会预先为每个作业分配一定的临时资源,包括内存。这些资源在作业执行期间被独占使用,确保作业运行所需的资源得到保障。tmpMcQuota可能就是这样一个用于暂存中间数据、缓存或其他计算过程中需要的临时内存空间。

    2. 中间数据处理:在进行复杂的数据处理或计算时,作业可能会生成大量中间结果,这些结果往往需要暂存在内存中以便后续处理。特别是对于那些需要进行shuffle(数据重分布)的操作,如排序、聚合等,临时内存配额的占用尤为明显。

    3. 优化执行计划:系统或作业调度器可能会根据作业的具体执行计划,为提高执行效率而预先分配更多的临时内存资源。例如,为了减少磁盘I/O操作,系统可能会选择增加内存使用以加快数据处理速度。

    4. 资源共享与隔离:在多租户环境下,为了保证各个作业之间的资源隔离和公平性,系统会通过配额系统来限制单个作业可以使用的资源量,包括内存。tmpMcQuota的占用体现了这种资源控制机制,确保即使在高负载情况下,每个作业也有足够的资源来完成其任务。

    5. 配置与默认行为:有时,作业Owner在提交作业时的配置或平台的默认设置可能导致较大的tmpMcQuota分配。例如,如果作业的配置倾向于优化执行速度而非最小化资源消耗,或者平台默认为作业分配较宽松的内存配额,都可能导致较高的内存占用。

    2024-07-14 16:02:09
    赞同 3 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载