开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在大数据计算MaxCompute中,使用dw里的数据集成同步过去还是使用rds外部表比较好?

mc里的表每天要实时同步到rds mysql表的话,使用dw里的数据集成同步过去还是使用rds外部表比较好啊?

展开
收起
崔问问 2023-12-07 17:29:54 88 0
3 条回答
写回答
取消 提交回答
  • 在大数据计算MaxCompute中,使用数据集成同步数据和使用RDS外部表各有优缺点,具体选择哪种方式取决于您的需求和场景。
    数据集成同步数据:
    1.优点:通过数据集成可以将MaxCompute与外部数据源进行连接和同步,支持多种数据存储介质和数据格式,包括外部数据源、OSS TableStore、TDDL Volume等。这种方式可以实现数据的实时同步和更新,确保数据的准确性和一致性。
    2.缺点:数据集成需要配置和设置数据源连接、数据转换和同步规则等,操作相对复杂,需要一定的技术能力。同时,数据集成需要一定的计算资源和网络带宽,对于大规模的数据同步可能会增加成本。
    RDS外部表:

    1.优点:RDS外部表是一种MaxCompute提供的表类型,可以直接将MaxCompute与RDS数据库进行连接和同步。使用RDS外部表可以方便地进行数据库查询和数据处理,同时保留了MaxCompute的分布式计算和存储能力。
    2.缺点:RDS外部表只支持MySQL和PostgreSQL两种数据库类型,对于其他类型的数据库可能不适用。同时,RDS外部表的数据同步可能受到数据库性能和网络稳定性的影响,对于大规模的数据同步可能会存在一定的延迟。
    如果需要实现与多种数据源的连接和同步,并对数据的实时性和准确性有较高要求,可以选择使用数据集成。如果需要方便地进行数据库查询和处理,同时保留MaxCompute的分布式计算和存储能力,可以选择使用RDS外部表。

    2023-12-08 11:48:04
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute中,如果需要实时将表数据同步到RDS MySQL表中,您可以选择在MaxCompute中,如果需要实时将表数据同步到RDS MySQL表中,您可以选择使用阿里云提供的数据传输服务DTS(Data Transmission Service)或者利用RDS的外部表功能。

    1. 如果您选择使用DTS进行数据同步,DTS支持两个MySQL数据库之间的双向数据实时同步,包括从RDS MySQL同步至MaxCompute,以及反向同步。此外,DTS还支持自建MySQL同步至RDS MySQL实例,实现增量数据的实时同步。但需要注意的是,在执行全量数据初始化时,DTS会占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。在数据库性能较差、规格较低或业务量较大的情况下,可能会加重数据库压力,甚至导致数据库服务不可用。

    2. 若您选择使用RDS的外部表功能,可以将MaxCompute作为数据源,通过创建外部表的方式直接读取MaxCompute中的数据。这种方式的优势在于可以直接在RDS MySQL中使用SQL查询MaxCompute中的数据,无需进行数据同步操作。

    2023-12-07 20:10:15
    赞同 展开评论 打赏
  • 现在数据集成不能把数据实时同步到MySQL a90f3a2d994d441a0fb2ebd4992cf7cb.png
    使用rds外部表,只能做insert操作,也做不到实时。 此回答整理自钉钉群:MaxCompute开发者社区1群

    2023-12-07 17:37:26
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载

    相关镜像