DataWorks如何将maxcompute生产环境数据同步到对应的开发环境?
在DataWorks中,可以通过创建数据同步任务将MaxCompute生产环境的数据同步到对应的开发环境。首先,需要创建一个数据同步任务,并选择源端为MaxCompute生产环境的数据源,同时选择目的端为开发环境的数据源。
为了完成此操作,DataWorks通过空间级预设角色与开发环境MaxCompute引擎Role的映射关系,赋予被授予空间角色的RAM用户(子账号)拥有该角色映射的开发引擎权限。这些用户默认拥有开发环境对应的引擎项目权限,但无生产环境对应的引擎项目权限。
当配置好数据同步的规则和映射关系后,就可以提交任务以进行数据同步。在整个过程中,如果存在生产环境关联的同步任务,需要格外注意,因为删除开发环境和生产环境的数据源是不可逆的操作,删除后,在开发环境配置同步任务时此数据源将不可见。如果生产环境在使用此数据源配置的同步任务,删除后,生产环境任务可能不可正常运行。
最后,值得强调的是,在实际应用过程中,我们常常会需要将开发和生产环境进行隔离,开发环境用于数据同步测试,生产环境用于生产数据的同步处理。
DataWorks提供了MaxCompute数据同步服务,可以将MaxCompute生产环境数据同步到对应的开发环境。具体步骤如下:
可以通过指定项目名前缀来指定访问生产表、开发表,insert+select方式写入 权限问题可以通过安全中心申请,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks可以使用同步任务将MaxCompute生产环境数据同步到对应的开发环境。具体步骤如下:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。