开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

老师,我有3个问题需要您帮忙解答一下 1.一个同步场景,polardb一个表大概约15亿,如果每天全

老师,我有3个问题需要您帮忙解答一下 1.一个同步场景,polardb一个表大概约15亿,如果每天全量同步,都不知道同步到什么时候了,这种有什么好建议吗? 2.任务失败了,可设置自动重跑,直到跑成功为止么 3.可不可以设置每天都自动补前N天数据,而不是手动补

展开
收起
游客3oewgrzrf6o5c 2022-08-03 12:04:55 589 0
1 条回答
写回答
取消 提交回答
  • 1)一般是建议增量同步的,您这边什么场景是需要每天全量同步呢;同步速度和资源组大小正相关 一般并发越大 速度相对会快 2)自动重跑是按设置的次数来的,可以设置监控 比如重跑3次还不成功 及时告警 自定义规则功能 3)同步读取的数据按过滤条件来 过滤出哪些就同步哪些 如果设置的是全量同步 就不存在补N天前数据的说法了(此答案整理自DataWorks交流群(答疑@机器人))

    2022-08-03 15:00:16
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
云栖大会:开源 PolarDB 架构演进、关键技术与社区建设 立即下载
2023云栖大会:和客户一起玩转PolarDB新特性 立即下载
2023云栖大会:PolarDB for AI 立即下载