Odps 同步任务异常处理|学习笔记

简介: 快速学习 Odps 同步任务异常处理

开发者学堂课程【阿里云 DataHub 使用教程Odps 同步任务异常处理】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/429/detail/5368


Odps 同步任务异常处理


Odps 同步任务异常处理

1、在控制台可看到正常运行的 connector,在 odps 中 drop 掉当时的分区

alter table test_dh_replica  drop partition (pt=”test”)

在 odps 某个分区同步数据时会主动创建一次分区,因此 drop 分区过后再上传的数据将会报错。

2、drop 成功后,向 topic 中上传一些数据,看到任务还在进行中,稍等片刻后再次刷新查看 connector 详情,此时有延迟时长,代表数据和已经 connect 数据的时间差,点击详情页面可看到任务的运行状态为 ERROR,可看到 ERROR 的信息,提示 Odps 分区不存在,是因为刚刚 drop 掉 odps 的分区导致数据 connect 失败。

 image.png

如何解决上述问题?

通常情况下建议直接点击重启归档,重启归档会触发归档任务从上一次的点位开始重新导入数据,此时任务正在运行,这次过后数据就会成功的写道 odps 中。

刷新页面,归档延迟已为0,说明数据已经追上,任务状态也从 ERROR 变为 RUNNING,当前点位为0,最新的挡位也已经追加进去。

3、到 Odps 控制台,再次查看 Odps 的分区和数据信息,可看到 Odps 分区已经重新创建出来,追加的10条数据也成功复制到新的分区中。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
SQL 分布式计算 运维
如何对付一个耗时6h+的ODPS任务:慢节点优化实践
本文描述了大数据处理任务(特别是涉及大量JOIN操作的任务)中遇到的性能瓶颈问题及其优化过程。
|
分布式计算 大数据 Java
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
114 0
|
11月前
|
DataWorks
DataWorks任务如何现在执行最长时间?
设置任务执行最长时间
253 28
|
9月前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享,介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案,支持离线与实时同步。通过Serverless资源组,实现灵活付费与动态扩缩容,提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。
|
11月前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力,由计算平台的产品经理喆别(王喆)分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别,向Hologres进行同步时,能够实现简单且快速的同步设置。目前仅需配置一个任务,就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
272 12
|
11月前
|
SQL 分布式计算 DataWorks
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?创建一个表的空分区,然后通过DataWorks去检查这个分区。
215 7
|
存储 分布式计算 监控
大数据增加分区减少单个任务的负担
大数据增加分区减少单个任务的负担
168 1
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
415 3
|
SQL 机器学习/深度学习 分布式计算
dataworks节点任务
在DataWorks中,你可以通过拖拽节点以及连线来构建复杂的工作流,这样可以方便地管理多个任务之间的依赖关系。此外,DataWorks还提供了调度功能,使得这些任务可以在设定的时间自动执行。这对于构建自动化、定时的数据处理管道非常有用。
308 5
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
459 0