开发者社区> 问答> 正文

默认情况下,性能最高的是什么?

默认情况下,性能最高的是什么?

展开
收起
游客nxq6attzvywgk 2021-12-06 20:27:02 693 0
1 条回答
写回答
取消 提交回答
  • 默认情况下,性能最高的是MEMORY_ONLY,但前提是你的内存必须足够足够大。可以绰绰有余地存放下整个RDD的所有数据。因为不进行序列化与反序列化操作,就避免了这部分的性能开销;对这个RDD的后续算子操作,都是基于纯内存中的数据的操作,不需要从磁盘文件中读取数据,性能也很高;而且不需要复制一份数据副本,并远程传送到其他节点上。但是这里必须要注意的是,在实际的生产环境中,恐怕能够直接用这种策略的场景还是有限的,如果RDD中数据比较多时(比如几十亿),直接用这种持久化级别,会导致JVM的OOM内存溢出异常。

    2021-12-06 20:27:53
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载

相关实验场景

更多