ODPS数据迁移指南
1. 背景调研
1.1 ODPS源与目的集群
调研项
内容
ODPS源集群版本
ODPS目的集群版本
ODPS源与目的是否在一个集群/可使用相同账号
ODPS源集群AccessKeyId
ODPS源集群AccessKeySecret
ODPS目的集群AccessKeyId
ODPS目的集群AccessKeyIdSecret
1.2 预迁移数据统计
所属Project
表名
大小
是否要迁移增量
Project1
Table1
Desc查看表大小
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
DataX插件开发
面向DataX插件开发人员，阐述开发一个DataX插件所经过的历程，消除开发者的困惑，让插件开发变得简单。
DataWorks熟能生巧系列直播第六期：数据集成日志详解
数据集成的任务日志主要分为两个部分，第一部分主要打印任务的整体状态，第二部分打印线程明细、各子线程执行过程以及执行结果。这两部分日志是分开的，但有一个共同的调度信息模块，记录运行机器、地域信息、项目名、节点信息、参数值等。此外，数据集成资源组有3种标识，我们通过标识能轻松识别数据集成跑在哪个资源组上。
