spark sumbit 这个截图里的参数是必填么?spark.adb.roleArn 这个参数里,arn、1234567、adbsparkprocessrole 分别表示什么意思?
在使用Spark submit向AnalyticDB提交任务时,有一些参数是必须填写的,否则任务无法正常提交。这些必选参数包括:
--master:指定Spark集群的地址,通常为yarn或者spark://host:port。
--deploy-mode:指定Spark application的部署模式,有client和cluster两种模式可选。
--class:指定Spark application的入口类名。
--name:指定Spark application的名称。
--jars:如果应用程序需要依赖第三方jar包,则需要指定该参数,并将所需jar包的路径以逗号分隔。
--driver-memory:指定Driver的内存大小,单位为M/G。
--executor-memory:指定Executor的内存大小,单位为M/G。
--num-executors:指定Executor的数量。
请参考一下这里 https://help.aliyun.com/document_detail/471203.html,此回答整理自钉群“云数据仓库ADB-开发者群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。