开发者社区> 问答> 正文

Spark任务提交yarn的两种模式yarn-cilent与yarn-cluster主要有什么区别?

Spark任务提交yarn的两种模式yarn-cilent与yarn-cluster主要有什么区别?

展开
收起
游客fq2cv4o24bhvc 2021-12-07 18:27:32 443 0
1 条回答
写回答
取消 提交回答
  • 1、SparkContext初始化不同,这也导致了Driver所在位置的不同,Yarn-Cluster的Driver是在集群的某一台NM上,Yarn-Client 的Driver运行在客户端

    2、Driver会和Executors进行通信,这也导致了Yarn-Cluster在提交App之后可以关闭Client,而Yarn-Client不可以

    3、Yarn-Cluster适合生产环境,Yarn-Client适合交互和调试

    2021-12-07 18:28:34
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载