开发者社区> 问答> 正文

Hadoop迁移到MaxCompute的两个部分分别是什么?

Hadoop迁移到MaxCompute的两个部分分别是什么?

展开
收起
游客fbdr25iajcjto 2021-12-12 16:26:09 818 0
1 条回答
写回答
取消 提交回答
  • 将Hadoop迁移到MaxCompute会分为两个主要部分:

    数据迁移和任务迁移。

    首先,对于数据迁移而言,可以通过Datax、数据集成以及DataxOnHadoop这几种工具实现。

    Datax是阿里云开源的一款数据传输工具;

    而数据集成的底层就是由Datax实现的。如果在数据迁移的过程中要使用Datax,那么需要用户来自定义调度,这对于gateway资源具有一定的要求。

    Datax在做数据传输的时候需要有一个管道机,通常就称之为gateway,数据的传输都是通过这个gateway来实现的,因此在使用Datax的时候对于gateway的资源是具有一定的要求的。

    此外,数据集成是在DataWorks里面集成化的数据传输工具。

    如果想要应用数据集成,那么其调度就是在DataWorks里面完成的,设置完数据周期等一些属性,DataWorks就可以自动实现任务的调度。如果使用数据集成,在网络允许的情况下,可以使用DataWorks的gateway公共网络资源,如果网络不允许则可以使用自定义的调度资源。

    2021-12-12 16:31:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载