要将表结构同步到MaxCompute,请按照以下步骤操作:
在 DataWorks 中,您可以使用 Data Integration
工具将 MySQL 表结构同步到 MaxCompute(也称 ODPS)。具体步骤如下:
DataWorks数据集成提供了强大的同步功能,支持将源数据库中的数据结构同步到MaxCompute。首先,你需要在DataWorks上开通MaxCompute并创建好表用于存储后续同步至MaxCompute的数据。
具体操作步骤如下:进入DataWorks首页,打开数据集成页面,点击“同步解决方案”,再点击任务列表。点击右上角的新建任务,可以新增同步任务。数据来源选择你的源数据库,数据去向选择MaxCompute。
此外,如果你使用的是MySQL作为数据来源,你可以通过配置分区参数,实现自动创建分区,动态地将RDS中的数据迁移至MaxCompute大数据计算服务。
最后,对于目标表结构的同步,你可以单击MaxCompute表名来预览MaxCompute表结构。在创建MaxCompute表时,数据集成会给MaxCompute自动加上一列 _srcinfo 用于标识这行数据来自哪个子表。 _srcinfo 配合源表主键,也可以用于唯一定位一行数据。
一键同步MaxCompute表结构https://help.aliyun.com/zh/dataworks/user-guide/create-multiple-external-tables-for-maxcompute-tables-at-a-time?spm=a2c4g.11186623.0.i33
操作步骤
登录阿里云官网。
新建一键MaxCompute表结构同步节点。
进入Hologres管理控制台。
鼠标悬停至顶部菜单栏左侧的三角图标,选择目标地域。
在实例列表 > Hologres引擎管理页面,单击前往DataWorks-HoloStudio开发。
在Holo Studio界面的左侧导航栏,单击数据开发图标。
进入数据开发页面,鼠标悬停至顶部菜单栏的新建图标。
单击一键MaxCompute表结构同步。
在新建节点对话框中,输入节点名称,并选择目标文件夹和数据库。
单击提交。
在编辑节点页面,配置各项参数。
同步外部表的规则如下:
如果同步外部表时存在名称相同的表,则忽略当前表。
如果同步外部表时,存在外部表不支持的数据类型,则系统会报错请在正则表达式中排除当前表再重新导入。
在新建节点的编辑页面,单击保存图标,保存配置信息。
在新建节点的编辑页面,单击运行图标,批量创建外部表结构。
在PG管理页面,查看批量创建的外部表并查询表数据,详情请参见创建及管理外部表。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。