开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何创建ODPS Spark节点创建JAR资源?

DataWorks如何创建ODPS Spark节点创建JAR资源?

展开
收起
真的很搞笑 2023-09-03 19:11:54 153 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,要创建 ODPS Spark 节点并添加 JAR 资源,可以按照以下步骤进行操作:

    1. 登录到 DataWorks 控制台,进入相应的项目空间。

    2. 在项目空间中,点击左侧导航栏中的 "工作空间",然后选择 "业务流程"。

    3. 在业务流程页面,点击 "新建任务" 按钮,并选择 "ODPS Spark" 作为任务类型。

    4. 在任务编辑页面,将鼠标移至节点画布上方的 "资源" 区域,并点击 "JAR" 按钮。

    5. 在弹出的对话框中,填写 JAR 资源的名称、描述和存储位置等信息。确保提供的存储位置是有效的,并且可以在 Spark 任务中访问到该 JAR 资源。

    6. 点击 "确定" 完成 JAR 资源的添加。

    7. 返回任务编辑页面,在节点画布上拖动一个 ODPS Spark 节点,并与之前添加的 JAR 资源连接起来。

    8. 配置 ODPS Spark 节点的其他参数,如脚本内容、输入/输出表、运行参数等。

    9. 点击 "保存" 按钮保存任务配置。

    通过以上步骤,你创建了一个 ODPS Spark 节点,并且添加了 JAR 资源。这样,当任务执行时,Spark 会自动加载并使用该 JAR 资源。

    2023-09-04 13:32:07
    赞同 展开评论 打赏
  • 进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。鼠标悬停至image.png
    图标,单击MaxCompute > 资源 > JAR。您也可以找到相应的业务流程,右键单击MaxCompute,选择新建 > 资源 > JAR。在新建资源对话框中,输入资源名称,并选择目标文件夹。说明如果绑定多个实例,则需要选择MaxCompute引擎实例。如果该JAR包已经在MaxCompute(ODPS)客户端上传过,则需要取消勾选上传为ODPS资源,否则上传会报错。资源名称无需与上传的文件名保持一致。资源名称命名规范:1~128个字符,字母、数字、下划线、小数点,大小写不敏感,JAR资源的后缀为.jar,Python资源的后缀为.py。单击点击上传,选择相应的文件进行上传。WordCount的示例代码请参见WordCount。单击新建。单击工具栏中的image.png
    图标,上传文件。在提交新版本对话框中,输入变更描述,单击确认。
    https://help.aliyun.com/document_detail/137513.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-03 19:32:49
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载