通过 Connector 同步到 Odps|学习笔记

简介: 快速学习通过 Connector 同步到 Odps

开发者学堂课程【阿里云 DataHub 使用教程 通过 Connector 同步到 Odps】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/429/detail/5365


通过 Connector 同步到 Odps


 通过 Data Hub 向 Odps 离线表同步数据

首先,进入 Data Hub 控制台,点击创建 Topic,其中一个选项是导入Maxcompute 表结构,也就是可以导入 Odps 表结构来直接创建 topic。

MaxCompute 项目名称为 datahub_test1,MaxCompute 表名称为 test_dh_replica,选中自动创建 DataConnector,会在创建 topic 的同时创建一个同步任务,点击导入表结构,表的结构会映射到 DataHub 中,会创建 test_dh_replica 名称的 Topic,类型为强 Schema 格式,Schema 有三个字段,即f1、f2以及 pt ,Shard 数量为1,生命周期为3天,点击创建。

创建成功后,在 Topic 列表中可看到 topic,(如下两图)点击查看,进入到 topic详情,可以看到目前有一个没有数据的通道,在 Connector 页面,可看到 topic 对应同步的任务目的地名称,目的地 ops project 是 datahub_test1,目的表是 test_dh_replica,

最新的写入时间和已归档时间都是初始值,因为还没有写入数据。

通过数据采集向 topic 中上传数据。

image.png

上传成功后,点击项目管理查看 topic ,Shards 中显示已写入10条数据量,查看Connector 详情,最新写入时间为当前时间,已归档时间是根据目前最新的一条记录时间确定的,查看 Connector 详情,向 odps 离线表同步的任务是默认64M 一次,或五分钟就会强行写入,可以保证的是五分钟以内,数据一定会同步到odps 离线表中,可以不断刷新查看到 Connector 的最新详情(如下图),

包括已经写入的时间和当前的一些点位,当前点位是0,说明还没有到最后的 Connector 一步,运行状态为 RUNNING。

image.png

可以不断刷新 Connector 状态,当前点位已经从0变成9,(如下图)运行状态为RUNNING, 当前点位就代表目前已经复制的点位,从0开始,复制10条数据,所以现在是9。

image.png

复制完后,到ops 控制台进行查看,先查看下分区,再扫描表里的数据,可以看到pt=test 分区已经创建成功,10条数据也可以看到,以上为 Connector 整个流程,流失的数据也通过这样的方式不断同步到离线表中。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力,由计算平台的产品经理喆别(王喆)分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别,向Hologres进行同步时,能够实现简单且快速的同步设置。目前仅需配置一个任务,就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
413 12
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享,介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案,支持离线与实时同步。通过Serverless资源组,实现灵活付费与动态扩缩容,提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
597 3
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之如何解决datax同步任务时报错ODPS-0410042:Invalid signature value
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之整库离线同步至MC的配置中,是否可以清除原表所有分区数据的功能
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
567 6
|
分布式计算 DataWorks NoSQL
DataWorks产品使用合集之怎么在同步脚本里进行列转行
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
存储 运维 DataWorks
DataWorks产品使用合集之怎么实现时间字段进行分区同步
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
SQL DataWorks 关系型数据库
DataWorks操作报错合集之如何处理在DI节点同步到OceanBase数据库时,出现SQLException: Not supported feature or function
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
586 0
|
数据采集 运维 DataWorks
DataWorks产品使用合集之如何从es同步数据到es
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
分布式计算 DataWorks 关系型数据库
MaxCompute操作报错合集之配置mysql数据源querysql模式,同步到MC时遇到报错,该怎么处理
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
430 0