开发者社区 > 数据库 > 数据仓库 > 正文

spark sumbit 这个截图里的参数是必填么?

spark sumbit 这个截图里的参数是必填么?spark.adb.roleArn 这个参数里,arn、1234567、adbsparkprocessrole 分别表示什么意思?266aada5754c01ebe7fed3546c4d9123.png

展开
收起
冰激凌甜筒 2023-04-04 19:16:52 182 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在使用Spark submit向AnalyticDB提交任务时,有一些参数是必须填写的,否则任务无法正常提交。这些必选参数包括:

    --master:指定Spark集群的地址,通常为yarn或者spark://host:port。

    --deploy-mode:指定Spark application的部署模式,有client和cluster两种模式可选。

    --class:指定Spark application的入口类名。

    --name:指定Spark application的名称。

    --jars:如果应用程序需要依赖第三方jar包,则需要指定该参数,并将所需jar包的路径以逗号分隔。

    --driver-memory:指定Driver的内存大小,单位为M/G。

    --executor-memory:指定Executor的内存大小,单位为M/G。

    --num-executors:指定Executor的数量。

    2023-04-25 18:32:55
    赞同 展开评论 打赏
  • 请参考一下这里 https://help.aliyun.com/document_detail/471203.html,此回答整理自钉群“云数据仓库ADB-开发者群”

    2023-04-04 19:48:26
    赞同 展开评论 打赏

阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载