1
条回答
写回答
写回答
-
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB使用Flash来作为缓冲的话是通过追加写的方式将Shuffle的数据写入缓存中，之所以这么做是因为闪存的可擦写次数是有限的，追加写可以延长闪存的寿命。闪存相对于内存存在着一定的延迟，但是总体而言这个延迟相对于整个shuffle在Cosco中缓存的时间是可以忽略不计的。
2020-12-28 14:03:33赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门讨论
热门文章
大佬，可以请教下，有没有遇到 com.aliyun.oss
1195
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？
538
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗
1104
我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？
199
Mem usage has exceed the limit of BE - com.mysql.j
1467
hdfs使用Jindo SDK 4.6.10 往oss迁数据时候问题，oss类型归档存储
279
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？
2048
请问flink sql 写oss有个报错该怎么办？
1489
阿里云共享块存储和NAS还有OSS的区别是什么呀
7728
数据入湖整体上分为哪几个部分？
995
展开全部
现代流式计算的基石：Google DataFlow
18440
5W1H(六何分析法)全景洞察大数据
11113
Apache Spark 3.0 将内置支持 GPU 调度
10531
使用Hive进行OSS数据处理的一个最佳实践
11445
HBase ThriftServer Kerberos认证
8356
数据湖正在成为新的数据仓库
5054
E-MapReduce HDFS文件快速CRC校验工具介绍
4883
开源大数据周刊-第55期
3503
云上基于Kerberos的大数据安全实践
3949
Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望
3405
展开全部
