开发者社区> 问答> 正文

Spark应用提交提供什么来完成?

Spark应用提交提供什么来完成?

展开
收起
游客daliwbfb2wo66 2021-12-07 19:30:16 307 0
1 条回答
写回答
取消 提交回答
  • 在Spark的bin目录下有一个spark-submit脚本,它可以向所有支持的资源调度系统中提交应用而无需特殊的配置(如Standalone, yarn, mesos, k8s等)。这个spark-submit非常重要,无论是开源调度框架Oozie还是Spark Rest管理系统livy,底层都是基于这个spark-submit来进行作业提交的。

    2021-12-07 19:55:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载