开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

离线同步有哪些附加能力?

已解决

离线同步有哪些附加能力?

展开
收起
甜甜的嘻嘻嘻 2022-08-16 12:19:26 317 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    1.字段映射关系与赋值

    ·支持多种字段映射方式:向导模式默认同名映射、脚本模式默认脚标映射;向导模式支持同行映射;并支持自定义所有字段或部分字段的字段关系。

    ·目标表字段赋值:支持赋值常量,赋值变量(支持使用调度参数,关系型数据库支持使用函数),支持编辑源端字段,例如通过 max(id)控制获取到的字段返回值。

    2.作业速率上限控制

    ·支持通过并发控制来限制数据集成读取和写入数据库的最大并发数。

    ·支持通过限流控制来保护数据库读写压力。在不限流的情况下,任务将在所配置的并发数的限制基础上,提供现有硬件环境下最大的传输性能。

    3.分布式模式执行任务

    部分数据源支持分布式模式执行任务,分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行,进而做到同步速度随执行集群规模做水平扩展,突破单机执行瓶颈。如果您对于同步性能有比较高的诉求可以使用分布式模式。 另外分布式模式也可以使用机器的碎片资源,对资源利用率友好。

    4.脏数据个数控制及定义其对任务影响

    数据集成默认允许脏数据产生,支持您对同步过程产出的脏数据个数设置阈值,定义其影响,即当脏数据产生或产生多少条时,任务失败退出。

    以上内容摘自《全链路数据治理-全域数据集成》电子书,点击https://developer.aliyun.com/ebook/download/7707可下载完整版

    2022-08-16 12:26:52
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Flink中的两类新型状态存储 立即下载
FLINK在大规模实时无效广告流量检测中的应用 立即下载
智能设计的增量 立即下载