开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks中maxcompute的脚本模式如何配置?

DataWorks中maxcompute的脚本模式如何配置?

展开
收起
真的很搞笑 2023-07-16 18:25:12 92 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,MaxCompute的脚本模式可以通过以下步骤进行配置:

    创建MaxCompute数据源:在DataWorks中创建MaxCompute数据源,选择需要使用的MaxCompute项目,并设置数据源的名称和描述。

    创建MaxCompute脚本任务:在DataWorks中创建MaxCompute脚本任务,选择需要使用的MaxCompute数据源和MaxCompute项目,并设置任务的名称和描述。

    配置脚本:在MaxCompute脚本任务中,选择“脚本模式”,并在脚本编辑器中编写MaxCompute脚本代码。脚本可以使用MaxCompute SQL语言和MaxCompute Python语言进行编写,以实现数据的转换和加工。

    配置运行参数:在MaxCompute脚本任务中,根据实际情况配置任务的运行参数,如输入表、输出表、分区等。

    2023-07-21 09:12:48
    赞同 展开评论 打赏
  • 在阿里云DataWorks中,配置MaxCompute的脚本模式可以通过以下步骤实现:

    1. 进入DataWorks控制台:登录阿里云官网,在控制台页面找到DataWorks服务,并进入DataWorks控制台。

    2. 创建或打开项目空间:选择要配置MaxCompute脚本模式的项目空间,如果没有项目空间,可以创建一个新的项目空间。

    3. 进入工作空间:在项目空间下,选择要进行配置的工作空间。如果没有工作空间,可以创建一个新的工作空间。

    4. 进入数据开发页面:在选定的工作空间下,点击"数据开发"标签,进入数据开发页面。

    5. 配置MaxCompute脚本模式:在数据开发页面左侧的导航栏中,选择"资源",然后点击"MaxCompute"。

    6. 添加或编辑MaxCompute连接:在MaxCompute资源管理页面,点击"新建连接"或编辑已有连接。

    7. 配置脚本模式:在连接配置页面的基本信息部分,可以看到"脚本模式"的选项。将其设置为您所需的模式,有以下几种可选模式:

      • CLASS模式:使用类似Java的语法编写任务逻辑。
      • SQL模式:使用SQL语句编写任务逻辑,可以直接在DataWorks中进行SQL开发。
      • ODPS-UDF模式:允许使用UDF(用户自定义函数)扩展MaxCompute的功能。
    8. 保存并测试连接:配置完脚本模式后,点击"保存"按钮,并进行连接的测试,确保配置正确无误。

    2023-07-17 11:49:16
    赞同 展开评论 打赏
  • 使用脚本模式开发的详情请参见通过脚本模式配置任务。脚本配置样例如下,详情请参见上述参数说明。{"type":"job","version":"2.0",//版本号。"steps":[{"stepType":"stream","parameter":{},"name":"Reader","category":"reader"},{"stepType":"odps",//插件名。"parameter":{"partition":"",//分区信息。"truncate":true,//清理规则。"compress":false,//是否压缩。"datasource":"odps_first",//数据源名。"column": [//源端列名。"id","name","age","sex","salary","interest"],"emptyAsNull":false,//空字符串是否作为null。"table":""//表名。},"name":"Writer","category":"writer"}],"setting":{"errorLimit":{"record":"0"//错误记录数,表示脏数据的最大容忍条数。},"speed":{"throttle":true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。"concurrent":1, //作业并发数。"mbps":"12"//限流}},"order":{"hops":[{"from":"Reader","to":"Writer"}]}}如果您需要指定MaxCompute的Tunnel Endpoint,可以通过脚本模式手动配置数据源:将上述示例中的"datasource":"",替换为数据源的具体参数,示例如下。
    "accessId":"","accessKey":"","endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api","odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api","tunn
    https://help.aliyun.com/document_detail/137466.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-16 18:28:39
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载