开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks迁移助手如何实现全量导出?

DataWorks迁移助手如何实现全量导出?

展开
收起
真的很搞笑 2023-07-22 15:06:21 86 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks迁移助手是阿里云DataWorks提供的一个工具,用于实现数据迁移和同步任务。要实现全量导出数据,你可以按照以下步骤操作:

    登录DataWorks控制台:使用你的账号登录DataWorks的控制台。

    进入数据迁移页面:在DataWorks控制台中,选择对应的项目。

    创建数据迁移任务:在项目中,选择「大数据开发」>「迁移同步」,进入数据迁移页面。点击「新建任务」按钮,创建一个新的数据迁移任务。

    配置源端和目标端:在创建任务时,你需要配置源端和目标端的连接信息。源端是指要导出数据的数据源,可以是MaxCompute表或其他数据库表。目标端是指数据导出的目标位置,可以是OSS、RDS等存储介质。

    配置任务类型和参数:在创建任务时,你可以选择全量导出任务类型,并根据需要配置相关的

    2023-07-30 17:47:41
    赞同 展开评论 打赏
  • 在DataWorks中,迁移助手是一个可以将MaxCompute(原ODPS)数据表的数据导出到其他存储介质的工具。要实现全量导出,可以按照以下步骤操作:

    1. 登录DataWorks控制台:使用你的账号登录DataWorks控制台(https://workbench.data.aliyun.com/console)。

    2. 进入项目空间:选择包含要导出数据的MaxCompute项目空间。

    3. 进入迁移助手页面:在项目空间中,点击左侧导航栏的"迁移助手",进入迁移助手页面。

    4. 创建任务:在迁移助手页面中,点击"新建任务"。

    5. 配置任务参数:

      • 选择要导出数据的MaxCompute项目和数据表。
      • 设置目标存储位置和格式,如OSS、RDS、ADS等,并填写相应的连接信息和配置。
      • 设定导出策略,包括分区、数据范围、压缩方式等。
    6. 执行任务:配置完成后,点击"执行"按钮开始执行任务。

    7. 监控任务:在迁移助手页面中,你可以监控任务的状态和进度。可以查看任务是否成功执行以及导出的数据量等信息。

    请注意,全量导出可能涉及大量数据的传输和存储消耗,请确保目标存储介质的可用性和容量满足要求。此外,导出任务的执行时间取决于数据量和网络状况等因素,可能需要一定的时间来完成。

    2023-07-23 13:05:29
    赞同 展开评论 打赏
  • 迁移助手支持通过全量导出、增量导出和自选导出等方式导出任务。不同导出类型的使用场景如下:全量导出适用于全量备份工作空间中的任务,主要用于备份代码、快速复制一个测试环境等场景。全量导出的版本为开发过程中最新的版本。 全量导出仅支持导出保存成功的对象。当同一个任务有开发和生产等多个版本时,以开发侧保存的版本为主进行全量导出。增量导出基于对象的最后修改时间,筛选最近修改过的对象并导出。说明 增量导出不支持选择导出黑名单。自选导出适用于抽象出通用的业务流程,以便其它业务快速复制。在开发和生产集群完全隔离的状态下,您可以通过自选导出功能,完成类似于发布任务的操作。
    https://help.aliyun.com/document_detail/172913.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-22 15:18:01
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多