Dataphin功能Tips系列(80)每日新增表高效同步!脚本模式+参数化配置助你轻松搞定动态数据同步

简介: 某电商平台每日订单表按日期命名,需同步至MaxCompute统一表。通过Dataphin离线集成,配置动态表名变量`${yyyy_MM_dd}`并结合运行参数,实现自动同步最新订单数据,操作简便高效。

👉🏻场景

某电商平台每天的订单数据会存储在MySQL数据库中,表名根据日期动态生成,例如order_2025_10_24order_2025_10_25等,表名后缀为当天的业务日期。开发人员希望通过Dataphin将最新的订单表按业务日期同步到MaxCompute的统一的Order表中,怎么做可以更加简单便捷?

👉🏻功能/解决方案

Dataphin 可将界面化配置的输入输出组件快速转换为脚本模式组件,实现灵活编辑。此场景下我们通过此功能以及灵活的变量设置实现,我们以 MySQL 的订单数据同步到 MaxCompute 为例:

  1. 进入「基础研发」-「离线集成」中,新建一个周期任务用于同步 MySQL 数据到 MaxCompute,选择来源表 order_2025_10_24 和目标表 Order,完成管道任务配置
  2. 接着,编辑已配置的 MySQL 输入组件,点击切换为脚本模式。

  3. 在脚本模式中,找到 【table】 字段,为来源表动态配置表名变量 order_${yyyy_MM_dd},点击确认。

  4. 进入「属性」-「运行参数」,设置变量的参数值为${yyyy_MM_dd}。点击预览,可验证系统根据调度自动生成日期参数。例如,2025年10月26日时,系统将动态同步表order_2025_10_25


  5. 最后,验证配置是否正常运行,测试通过后提交并发布管道任务,即可实现将每天最新的订单表按业务日期同步到 MaxCompute 的统一Order表。


相关文章
|
6天前
|
数据采集 人工智能 安全
|
15天前
|
云安全 监控 安全
|
1天前
|
存储 SQL 大数据
删库跑路?别慌!Time Travel 带你穿回昨天的数据世界
删库跑路?别慌!Time Travel 带你穿回昨天的数据世界
241 156
|
9天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
633 5
|
12天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
788 152
|
20天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1899 9
|
3天前
|
机器学习/深度学习 人工智能 监控
别把模型当宠物养:从 CI/CD 到 MLOps 的工程化“成人礼”
别把模型当宠物养:从 CI/CD 到 MLOps 的工程化“成人礼”
223 163