👉🏻场景
某电商平台每天的订单数据会存储在MySQL数据库中,表名根据日期动态生成,例如order_2025_10_24、order_2025_10_25等,表名后缀为当天的业务日期。开发人员希望通过Dataphin将最新的订单表按业务日期同步到MaxCompute的统一的Order表中,怎么做可以更加简单便捷?
👉🏻功能/解决方案
Dataphin 可将界面化配置的输入输出组件快速转换为脚本模式组件,实现灵活编辑。此场景下我们通过此功能以及灵活的变量设置实现,我们以 MySQL 的订单数据同步到 MaxCompute 为例:
- 进入「基础研发」-「离线集成」中,新建一个周期任务用于同步 MySQL 数据到 MaxCompute,选择来源表
order_2025_10_24和目标表 Order,完成管道任务配置。 - 接着,编辑已配置的 MySQL 输入组件,点击切换为脚本模式。
- 在脚本模式中,找到 【table】 字段,为来源表动态配置表名变量
order_${yyyy_MM_dd},点击确认。
- 进入「属性」-「运行参数」,设置变量的参数值为${yyyy_MM_dd}。点击预览,可验证系统根据调度自动生成日期参数。例如,2025年10月26日时,系统将动态同步表
order_2025_10_25。
- 最后,验证配置是否正常运行,测试通过后提交并发布管道任务,即可实现将每天最新的订单表按业务日期同步到 MaxCompute 的统一
Order表。