开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks中maxcompute如何定期备份?

DataWorks中maxcompute如何定期备份?

展开
收起
真的很搞笑 2023-11-30 14:47:17 86 0
3 条回答
写回答
取消 提交回答
  • MaxCompute每份数据应该有2个备份 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-30 20:13:12
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在阿里云 DataWorks 中,MaxCompute 提供了数据备份和恢复功能。系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,用户可以对保留周期内的数据进行快速恢复。

    如果你需要定期备份 MaxCompute 中的表数据,你可以通过以下方式实现:

    1. 使用 DataWorks 的调度任务

      • 在 DataWorks 项目中创建一个 SQL 脚本,用于将要备份的表数据写入到另一个存储位置,比如另一张 MaxCompute 表或者 OSS 存储桶。
      • 创建一个调度任务,设置这个任务按照你所需的频率(如每天、每周等)运行上面创建的 SQL 脚本。
      • 确保你的脚本包含了必要的授权信息,以便能够访问目标存储资源。
    2. 使用 MaxCompute 的快照功能

      • 如果 MaxCompute 支持快照功能,你可以为特定的表创建快照,并根据需要定期更新这些快照。
      • 快照通常会在一段时间内保存历史数据状态,这使得你能够在任何时候回滚到某个先前的状态。
    3. 手动备份

      • 手动导出表数据到本地或其他存储介质,然后定期执行此操作。
      • 这种方法不太推荐,因为它依赖于人工干预并且容易出错。
    4. 第三方工具或服务

      • 使用第三方 ETL 工具或服务来定期抓取 MaxCompute 数据并将其存档到其他地方。
    2023-11-30 17:17:47
    赞同 展开评论 打赏
  • CSDN全栈领域优质创作者,万粉博主;InfoQ签约博主;华为云享专家;华为Iot专家;亚马逊人工智能自动驾驶(大众组)吉尼斯世界纪录获得者

    在DataWorks中,MaxCompute数据的定期备份可以通过任务工作流的配置、周期性调度执行及元数据管理来实现,以保障数据生产及管理的高效稳定。同时,如果需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时,还可以使用DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出。

    2023-11-30 15:02:06
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载