开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute的dataworks里表input_bytes和任务运行日志里面的是什么关系?

问题1:MaxCompute的dataworks里information_schema.tasks_history表input_bytes和任务运行日志里面的input io bytes是什么关系,是一个概念吗?按道理应该是差不多的,但是对比差好几倍。b4c55b4e2c452113aecd538e27699f7b.png 问题2:我是所有阶段的加起来和Schema.tasks_history的做对比,差好几倍。

展开
收起
三分钟热度的鱼 2023-06-20 08:54:18 61 0
1 条回答
写回答
取消 提交回答
  • 针对问题1的回答:这里的I/O Bytes 数据是在MaxCompute内执行每个阶段的数据输入size,比如你这个M1的input。 Information Schema.tasks_history里面的input_bytes是整个SQL的数据输入量。这两个内容肯定是有差距的。针对问题2的回答:那可能是在具体执行过程中,MaxCompute底层作业存储数据量下推的优化。所以logview里面看到的会比较少。此回答整理自钉群“MaxCompute开发者社区2群”

    2023-06-20 09:21:18
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载