开发者社区> 问答> 正文

怎么理解Standalone模式下Spark资源分配是粗粒度?

怎么理解Standalone模式下Spark资源分配是粗粒度?

展开
收起
芯在这 2021-12-06 00:39:48 257 0
1 条回答
写回答
取消 提交回答
  • spark默认情况下资源分配是粗粒度的,也就是说程序在提交时就分配好资源,后面执行的时候使用分配好的资源,除非资源出现了故障才会重新分配。比如Spark shell启动,已提交,一注册,哪怕没有任务,worker都会分配资源给executor。

    2021-12-06 00:40:01
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载

相关实验场景

更多