大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute

简介: 在大数据开发套件中是可以实现mongo同步到Maxcompute。 数据集成文档:https://help.aliyun.com/document_detail/47677.html?spm=5176.7750354.6.599.jGn50I 后端是通过华东1区的调度资源进行数据的调度传输。
 在大数据开发套件中是可以实现mongo同步到Maxcompute。

后端是通过华东1区的调度资源进行数据的调度传输。但是如果阿里云mongo不在华东1在其他区域,使用默认资源组就不能正常同步了。那么就需要用户通过自己添加调度机器进行同步。
1,准备一台调度服务器,要求必须和云mongo相同网络类型相同的区域。

注意:
请务必使用内网ip新增注册调度资源 请务必使用ecs实例的主机名称,要求和机器上 hostname下的主机名称一致,修改后的主机名称会出现异常。
*请注意ecs系统,建议使用 centos6、centos7 或者 aliyunos;
大数据开发套件-项目管理-调度资源管理-新增调度资源
增加主机名和内网ip
然后到ecs服务器上初始化
3
执行初始化命令会有下图
4
如果成功初始化,一般会显示下载各种需要的包5
最后到控制台看下服务器状态,刷新几次
2
2,在大数据开发套件-数据集成-数据源-新数据源-选择mongo数据源类型-阿里云数据库
3333

在这里注意,实例id要写对,地区要选对。

另外vpc下的目前是不支持测试连通性,直接点击确认

**
请务必将新增的调度资源ecs的内网ip加入mongo的白名单
3,在数据集成-新建任务6
数据集成中mongo数据源暂时不支持向导模式,选择脚本模式
选择来源是mongo,目标odps(即maxcompute)
7
然后确认会生成脚本模版8
具体配置可以参考

{
   
  "configuration": {
   
    "reader": {
   
      "plugin": "mongodb",
      "parameter": {
   
        "datasource": "mongoxxxtest",//数据源名称
        "column": [
          {
   
            "name": "title",
            "type": "description"
          }
        ],
        "collectionName": "shangdantest"//集合名称
      }
    },
    "writer": {
   
      "plugin": "odps",
      "parameter": {
   
        "partition": "",
        "truncate": false,
        "datasource": "aliyunxxxodps",
        "column": [
          "title",
          "desc_d"
        ],
        "table": "mongo_test"
      }
    },
    "setting": {
   
      "errorLimit": {
   
        "record": "0"
      },
      "speed": {
   
        "concurrent": "1",
        "mbps": "1"
      }
    }
  },
  "type": "job",
  "version": "1.0"
}

配置完成后,点击保存-提交
然后到运维中心-任务管理-找到任务-测试运行看下_
任务运行如果失败
到运维中心-任务运维-查看任务运行的日志_
日志中如果出现下方错误10
检查数据源,是否把地区和实例id写对了 检查账户是否是同步库的账户。
如果问题没有解决,可以提交工单咨询阿里云售后工程师

目录
相关文章
|
5月前
|
JSON 分布式计算 大数据
springboot项目集成大数据第三方dolphinscheduler调度器
springboot项目集成大数据第三方dolphinscheduler调度器
298 3
|
6月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
170 2
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
942 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
5月前
|
数据采集 消息中间件 JSON
搞大数据集成,这些基本原理你得先清楚!
企业在进行大数据集成时,常因忽视对数据本质的统一认知,导致集成失败。本文指出,大数据集成不仅是技术问题,更需明确数据本体论,建立企业级“数据通用语言”,包括核心数据对象、唯一标识及关系定义。只有在业务语义一致的基础上,结合技术实施,才能打破数据孤岛,实现数据价值。
|
分布式计算 大数据 Java
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
springboot项目集成大数据第三方dolphinscheduler调度器 执行/停止任务
109 0
|
9月前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享,介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案,支持离线与实时同步。通过Serverless资源组,实现灵活付费与动态扩缩容,提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。
|
11月前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力,由计算平台的产品经理喆别(王喆)分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别,向Hologres进行同步时,能够实现简单且快速的同步设置。目前仅需配置一个任务,就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
269 12
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成:Spark & Flink
【10月更文挑战第25天】在大数据时代,实时数据处理和分析变得越来越重要。AnalyticDB(ADB)是阿里云推出的一款完全托管的实时数据仓库服务,支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力,将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发,分享如何将AnalyticDB与Spark和Flink集成,构建端到端的大数据处理流水线,实现数据的实时分析和处理。
351 1
|
消息中间件 分布式计算 大数据
RabbitMQ与大数据平台的集成
【8月更文第28天】在现代的大数据处理架构中,消息队列作为数据传输的关键组件扮演着重要的角色。RabbitMQ 是一个开源的消息代理软件,它支持多种消息协议,能够为分布式系统提供可靠的消息传递服务。本篇文章将探讨如何使用 RabbitMQ 与 Hadoop 和 Spark 进行集成,以实现高效的数据处理和分析。
252 1
|
分布式计算 大数据 数据处理
【大数据管理新纪元】EMR Delta Lake 与 DLF 深度集成:解锁企业级数据湖的无限潜能!
【8月更文挑战第26天】随着大数据技术的发展,Apache Spark已成为处理大规模数据集的首选工具。亚马逊的EMR服务简化了Spark集群的搭建和运行流程。结合使用Delta Lake(提供ACID事务保证和数据版本控制)与DLF(加强数据访问控制及管理),可以显著提升数据湖的可靠性和性能。本文通过一个电商公司的具体案例展示了如何在EMR上部署集成Delta Lake和DLF的环境,以及这一集成方案带来的几大优势:增强的可靠性、细粒度访问控制、性能优化以及易于管理的特性。这为数据工程师提供了一个高效且灵活的数据湖平台,简化了数据湖的建设和维护工作。
318 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute