开发者社区 > 云原生 > 正文

在edas里部署的镜像里面调用maxcompute的spark的sparksubmit的时候怎么解决

问一下在edas里部署的镜像里面调用了maxcompute的spark的sparksubmit的时候报错,这个咋解决,应该是因为edas额外插入Java参数导致。

展开
收起
十一0204 2023-07-19 21:54:55 53 0
1 条回答
写回答
取消 提交回答
  • 在阿里云的 EDAS 平台中,如果您在部署的镜像中需要调用 MaxCompute 的 SparkSubmit,可以按照以下步骤解决:

    1. 在 EDAS 控制台上创建一个应用并选择相应的集群。确保您选择的集群支持 MaxCompute 和 Spark。

    2. 编写一个脚本或程序,其中包含调用 MaxCompute 的 SparkSubmit 命令。

    3. 将编写好的脚本或程序打包到您的镜像中,并使用 Dockerfile 或其他方式构建镜像。

    4. 在 EDAS 控制台中创建一个应用,并选择刚才构建的镜像作为应用的部署包。

    5. 配置应用的启动命令,使其执行您编写的脚本或程序。可以通过在 EDAS 控制台的应用配置页面上设置 "启动命令" 来实现。确保命令中包含了相应的环境变量和参数,以便正确调用 MaxCompute 的 SparkSubmit。

    6. 提交应用,并等待应用在 EDAS 上成功部署和运行。

    请注意,在进行上述操作之前,确保您已经在 EDAS 平台上正确配置了 Spark 和 MaxCompute 相关的服务信息,包括访问凭证、Endpoint 等。

    2023-07-28 11:11:19
    赞同 展开评论 打赏

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

相关产品

  • 企业级分布式应用服务
  • 相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载