带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(上)

简介: 带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(上)

4. 配置任务

1) 创建同步任务

在 DataWorks 管控台进入数据集成主站,点击同步任务,新建任务。

image.png

选择 Hologres 整库全增量解决方案。

image.png

2) 选择表并刷新表映射

image.png

l 左侧勾选源端需要同步的表 table_a_001、table_a_002、table_b_001、

table_b_002。

l 通过穿梭框选中后移动至右侧。

l 点击批量刷新映射按钮。


l 目标端 Schema 默认使用源端 Database 名。

l 目标端 Table 默认使用源端 Table 名。


3) 配置表名转换规则

image.png

通过增加表名映射规则,来修改目标表的名字。

image.png

转换规则配置解释:

l 目标表名为可视化拼接,可以使用内置变量及指定字符串。

l 内置变量可以配置多个字符串转换规则,顺序执行,计算结果值会拼接到目

标表名。

l 上图中的规则可以表达为:

Ø 目标表名=REPLACE(源表名 , ^table_a_\d+$ , tb_a) + _to_holo。

Ø 以源表名 table_a_001 为例,目标表名转换后为:tb_a_to_holo。


l 保存规则后,规则并不会立即生效,需要手动将规则应用到指定的表上,才

能够生效。

image.png

image.png

按照 table_a 的操作,配置 table_b 的表名转换规则,并应用刷新。

image.png


可以看到,目标表名已经配置为:tb_a_to_holo、tb_b_to_holo


同步主的解

在进行刷新操作时,系统会自动识别源端表的主键信息,如未能识别到主键信息,则需要手动设置主键。


当目标端不存在为自动建表时,会将同名字段设置为主键予以建表。



《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(下):https://developer.aliyun.com/article/1222963


相关文章
|
SQL Java 关系型数据库
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
438 5
|
缓存 Java API
微服务——SpringBoot使用归纳——Spring Boot集成 Swagger2 展现在线接口文档——Swagger2 的配置
本文介绍了在Spring Boot中配置Swagger2的方法。通过创建一个配置类,添加`@Configuration`和`@EnableSwagger2`注解,使用Docket对象定义API文档的详细信息,包括标题、描述、版本和包路径等。配置完成后,访问`localhost:8080/swagger-ui.html`即可查看接口文档。文中还提示了可能因浏览器缓存导致的问题及解决方法。
1376 0
微服务——SpringBoot使用归纳——Spring Boot集成 Swagger2 展现在线接口文档——Swagger2 的配置
|
11月前
|
机器学习/深度学习 SQL 大数据
什么是数据集成?和数据融合有什么区别?
在大数据领域,“数据集成”与“数据融合”常被混淆。数据集成关注数据的物理集中,解决“数据从哪来”的问题;数据融合则侧重逻辑协同,解决“数据怎么用”的问题。两者相辅相成,集成是基础,融合是价值提升的关键。理解其差异,有助于企业释放数据潜力,避免“数据堆积”或“盲目融合”的误区,实现数据从成本到生产力的转变。
什么是数据集成?和数据融合有什么区别?
|
12月前
|
Java 关系型数据库 MySQL
springboot项目集成dolphinscheduler调度器 实现datax数据同步任务
springboot项目集成dolphinscheduler调度器 实现datax数据同步任务
1070 2
|
JSON 前端开发 算法
掌握Multi-Agent实践(三):ReAct Agent集成Bing和Google搜索功能,采用推理与执行交替策略,增强处理复杂任务能力
掌握Multi-Agent实践(三):ReAct Agent集成Bing和Google搜索功能,采用推理与执行交替策略,增强处理复杂任务能力
1174 23
|
分布式计算 大数据 Java
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
330 0
|
JSON JavaScript API
MCP 实战:用配置与真实代码玩转 GitHub 集成
MCP 实战:用配置与真实代码玩转 GitHub 集成
2832 4
|
数据挖掘 OLAP OLTP
体验AnalyticDB无感集成(Zero-ETL)下的一站式数据分析,完成任务可领取300社区积分兑换各种商城好礼!
瑶池数据库的无感数据集成实现秒级同步,性能提升15%。借助AnalyticDB的Zero-ETL功能,快速搭建OLTP与OLAP同步链路,一站式管理数据分析。参与活动完成任务即可领取300社区积分,还有机会抽取红酒收纳箱、键盘鼠标垫、福禄寿淘公仔等好礼!
|
缓存 前端开发 API
(网页系统集成CAD功能)在线CAD中配置属性的使用教程
本文介绍了Mxcad SDK在线预览和编辑CAD图纸的功能及配置方法。通过Vite、CDN或Webpack实现集成,用户可自定义设置以满足项目需求。主要内容包括:1)`createMxCad()`方法的初始属性配置,如画布ID、WASM文件路径、字体加载路径等;2)`MxFun.setIniset()`方法提供的更多CAD初始配置;3)`McObject`对象API用于动态调整视图背景色、浏览模式等。此外,还提供了在线Demo(https://demo2.mxdraw3d.com:3000/mxcad/)供用户测试实时效果。
|
关系型数据库 MySQL OLAP
无缝集成 MySQL,解锁秒级 OLAP 分析性能极限,完成任务可领取三合一数据线!
通过 AnalyticDB MySQL 版、DMS、DTS 和 RDS MySQL 版协同工作,解决大规模业务数据统计难题,参与活动完成任务即可领取三合一数据线(限量200个),还有机会抽取蓝牙音箱大奖!