开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks批量上云操作步骤操作步骤是什么?

DataWorks批量上云操作步骤操作步骤是什么?

展开
收起
真的很搞笑 2023-10-29 18:08:37 59 0
4 条回答
写回答
取消 提交回答
  • 在DataWorks中批量上云的主要步骤如下:

    1. 首先,以开发者身份登录DataWorks控制台。在左侧导航栏中,单击工作空间列表,然后单击相应工作空间后的进入数据集成。在左侧导航栏中,单击批量上云,查看您配置的批量上云任务。

    2. 其次,单击右上角的新建批量快速上云。

    3. 接着,选择同步的数据源。需要选择添加成功的源端数据源和目标MaxCompute(ODPS)数据源,此处的源端数据源可以选择多个且需要类型相同,例如均是MySQL、Oracle或SQL Server。

    4. 然后,配置同步规则。单击添加规则,您可以根据自身需求选择相应的规则进行配置。配置完成后,单击执行规则,并检查DDL和同步脚本确认规则效果。

    5. 除此以外,DataWorks还支持在数据集成主站新建整库离线同步方案,快速将来源数据源内所有表上传至目标数据源,帮助您节省大量初始化数据上云的批量任务创建时间。

    6. 最后,完成以上步骤后,提交任务并等待执行完成即可。

    2023-10-30 21:51:21
    赞同 展开评论 打赏
  • 在DataWorks中进行批量上云的操作,可以按照以下步骤进行:

    1. 进入数据集成 > 批量上云 页面。这通常需要以开发者身份登录 DataWorks控制台,然后在左侧导航栏,单击 工作空间列表,再单击相应工作空间后的 进入数据集成,最后在左侧导航栏,单击 批量上云,即可查看您配置的批量上云任务。

    2. 单击右上角的 新建批量快速上云。

    3. 选择同步的数据源。选择添加成功的源端数据源和 目标MaxCompute(ODPS)数据源 ,此处的源端数据源可以选择多个且需要类型相同,例如均是MySQL、Oracle或SQL Server,详情请参见 批量新增数据源 。

    4. 配置同步规则。单击 添加规则 ,您可以根据自身需求选择相应的规则进行配置。配置完成后,单击 执行规则 ,并检查DDL和同步脚本确认规则效果。

    以上就是在DataWorks中进行批量上云操作的基本步骤。在实际操作中,可能还需要根据具体需求进行调整。

    2023-10-30 15:00:46
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,批量上云是一个便捷的工具,可以帮助用户快速地将数据从本地数据库上传到MaxCompute。以下是批量上云的操作步骤:

    1. 进入数据集成界面:登录DataWorks控制台后,在左侧菜单栏选择“数据集成”,然后点击“批量上云”。
    2. 新建批量上云任务:点击右上角的“新建批量快速上云”按钮。
    3. 配置数据源:首先配置源端数据源,可以从MySQL、Oracle、SQL Server等数据库中选择多个数据源,并确保所选数据源类型相同。
    4. 配置同步规则:配置数据同步规则,例如要同步的表、字段、过滤条件等。
    5. 选择要同步的表:在右侧选择要同步的表,并提交任务。
    2023-10-30 13:32:24
    赞同 展开评论 打赏
  • 进入数据集成 > 批量上云页面。以开发者身份登录DataWorks控制台。在左侧导航栏,单击工作空间列表。单击相应工作空间后的进入数据集成。在左侧导航栏,单击批量上云,查看您配置的批量上云任务。说明批量上云列表中,您只能查看不能修改操作栏下的日志和规则。如果您提交规则后,没有提交任务,则没有运行时间,并且此配置规则无效。单击右上角的新建批量快速上云。选择同步的数据源。选择添加成功的源端数据源和目标MaxCompute(ODPS)数据源,此处的源端数据源可以选择多个且需要类型相同,例如均是MySQL、Oracle或SQL Server,详情请参见批量新增数据源。配置同步规则。单击添加规则,您可以根据自身需求选择相应的规则进行配置。配置完成后,单击执行规则,并检查DDL和同步脚本确认规则效果。说明如果界面中的规则无法满足您的需求,您可以选择脚本模式。配置完规则后,您必须执行规则并提交任务,否则您配置的规则在刷新或关闭浏览器后没有相关的记录。如果您需要在批量上云时对表前缀进行设置,请参见批量上云时给目标表名加上前缀。操作 参数 描述
    添加规则 目标表分区字段规则 展现分区的内容,符合调度参数配置,详情请参见基础属性:调度参数。
    表名转换规则 选择您的数据库表名的任何词,转换为您需要的内容。
    字段名转换规则 选择您的表中字段名的任何词,转换为您需要的内容。
    字段类型转换规则 选择您的数据源表中具有的数据类型,转换为您需要的数据类型。
    目标表新增字段规则 可以在MaxCompute表中增加一列,根据您的需求设置名称。
    目标表字段赋值规则 为增加的字段赋值。
    数据过滤规则 针对您选择的数据源,对表中的数据进行过滤。
    目标表名前缀规则 给表名添加一个前缀。
    转为脚本 配置规则时可以转为脚本模式配置,与向导模式相比,单个规则可以指定作用范围。但向导模式转为脚本模式后,无法反向转换回向导模式进行配置。
    重置脚本 转换脚本后才能重置脚本,单击后提供统一的脚本模板。
    执行规则 单击执行规则,可以看到规则对DDL脚本和同步脚本的影响。该按钮不会创建任务,仅提供DDL和同步脚本的预览。 您可以选择一部分表检查对应的DDL和同步脚本,确认是否符合规则。选择要同步的表并提交。您可以选择多个表进行批量提交,MaxCompute表会根据上面配置规则生成。如果执行失败,将鼠标放至
    https://help.aliyun.com/document_detail/146671.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-29 23:07:24
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多