开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

列出了传统磁盘 shuffle 的主要问题是哪些?

已解决

列出了传统磁盘 shuffle 的主要问题是哪些?

展开
收起
游客lmkkns5ck6auu 2022-08-10 14:26:21 410 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    ·碎片读:一个典型的 2k*1k shuffle pipe 在上游每个 mapper 处理 256MB 数据时,一个 mapper 写给一个 reducer 的数据量平均为 256KB,而从 HDD 磁盘上 一次读小于 256KB 这个级别的数据量是很不经济的,高 iops 低 throughput 严重影响作业性能;

    ·稳定性:由于 HDD 上严重的碎片读现象,造成 reduce input 阶段较高的出错比率,触发上游重跑生成shuffle数据更是让作业的执行时间成倍拉长。

    以上内容摘自《“伏羲”神算》电子书,点击https://developer.aliyun.com/topic/download?id=873

    2022-08-11 10:50:39
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
用户态高速块缓存方案 立即下载
Flink中的两类新型状态存储 立即下载
低代码开发师(初级)实战教程 立即下载