在DataWorks中批量上云的主要步骤如下:
首先,以开发者身份登录DataWorks控制台。在左侧导航栏中,单击工作空间列表,然后单击相应工作空间后的进入数据集成。在左侧导航栏中,单击批量上云,查看您配置的批量上云任务。
其次,单击右上角的新建批量快速上云。
接着,选择同步的数据源。需要选择添加成功的源端数据源和目标MaxCompute(ODPS)数据源,此处的源端数据源可以选择多个且需要类型相同,例如均是MySQL、Oracle或SQL Server。
然后,配置同步规则。单击添加规则,您可以根据自身需求选择相应的规则进行配置。配置完成后,单击执行规则,并检查DDL和同步脚本确认规则效果。
除此以外,DataWorks还支持在数据集成主站新建整库离线同步方案,快速将来源数据源内所有表上传至目标数据源,帮助您节省大量初始化数据上云的批量任务创建时间。
最后,完成以上步骤后,提交任务并等待执行完成即可。
在DataWorks中进行批量上云的操作,可以按照以下步骤进行:
进入数据集成 > 批量上云 页面。这通常需要以开发者身份登录 DataWorks控制台,然后在左侧导航栏,单击 工作空间列表,再单击相应工作空间后的 进入数据集成,最后在左侧导航栏,单击 批量上云,即可查看您配置的批量上云任务。
单击右上角的 新建批量快速上云。
选择同步的数据源。选择添加成功的源端数据源和 目标MaxCompute(ODPS)数据源 ,此处的源端数据源可以选择多个且需要类型相同,例如均是MySQL、Oracle或SQL Server,详情请参见 批量新增数据源 。
配置同步规则。单击 添加规则 ,您可以根据自身需求选择相应的规则进行配置。配置完成后,单击 执行规则 ,并检查DDL和同步脚本确认规则效果。
以上就是在DataWorks中进行批量上云操作的基本步骤。在实际操作中,可能还需要根据具体需求进行调整。
在DataWorks中,批量上云是一个便捷的工具,可以帮助用户快速地将数据从本地数据库上传到MaxCompute。以下是批量上云的操作步骤:
进入数据集成 > 批量上云页面。以开发者身份登录DataWorks控制台。在左侧导航栏,单击工作空间列表。单击相应工作空间后的进入数据集成。在左侧导航栏,单击批量上云,查看您配置的批量上云任务。说明批量上云列表中,您只能查看不能修改操作栏下的日志和规则。如果您提交规则后,没有提交任务,则没有运行时间,并且此配置规则无效。单击右上角的新建批量快速上云。选择同步的数据源。选择添加成功的源端数据源和目标MaxCompute(ODPS)数据源,此处的源端数据源可以选择多个且需要类型相同,例如均是MySQL、Oracle或SQL Server,详情请参见批量新增数据源。配置同步规则。单击添加规则,您可以根据自身需求选择相应的规则进行配置。配置完成后,单击执行规则,并检查DDL和同步脚本确认规则效果。说明如果界面中的规则无法满足您的需求,您可以选择脚本模式。配置完规则后,您必须执行规则并提交任务,否则您配置的规则在刷新或关闭浏览器后没有相关的记录。如果您需要在批量上云时对表前缀进行设置,请参见批量上云时给目标表名加上前缀。操作 参数 描述
添加规则 目标表分区字段规则 展现分区的内容,符合调度参数配置,详情请参见基础属性:调度参数。
表名转换规则 选择您的数据库表名的任何词,转换为您需要的内容。
字段名转换规则 选择您的表中字段名的任何词,转换为您需要的内容。
字段类型转换规则 选择您的数据源表中具有的数据类型,转换为您需要的数据类型。
目标表新增字段规则 可以在MaxCompute表中增加一列,根据您的需求设置名称。
目标表字段赋值规则 为增加的字段赋值。
数据过滤规则 针对您选择的数据源,对表中的数据进行过滤。
目标表名前缀规则 给表名添加一个前缀。
转为脚本 配置规则时可以转为脚本模式配置,与向导模式相比,单个规则可以指定作用范围。但向导模式转为脚本模式后,无法反向转换回向导模式进行配置。
重置脚本 转换脚本后才能重置脚本,单击后提供统一的脚本模板。
执行规则 单击执行规则,可以看到规则对DDL脚本和同步脚本的影响。该按钮不会创建任务,仅提供DDL和同步脚本的预览。 您可以选择一部分表检查对应的DDL和同步脚本,确认是否符合规则。选择要同步的表并提交。您可以选择多个表进行批量提交,MaxCompute表会根据上面配置规则生成。如果执行失败,将鼠标放至
https://help.aliyun.com/document_detail/146671.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。