开发者社区> 问答> 正文

spark中的RDD的弹性表现具体在哪几点啊?

spark中的RDD的弹性表现具体在哪几点啊?

展开
收起
游客vwuxaq6iqaowc 2021-12-06 21:19:45 350 0
1 条回答
写回答
取消 提交回答
  • 自动的进行内存和磁盘的存储切换; 基于Lingage的高效容错; task如果失败会自动进行特定次数的重试; stage如果失败会自动进行特定次数的重试,而且只会计算失败的分片; checkpoint和persist,数据计算之后持久化缓存 数据调度弹性,DAG TASK调度和资源无关 数据分片的高度弹性,a.分片很多碎片可以合并成大的,b.par

    2021-12-06 21:20:02
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载