开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks的实时数据同步节点支持什么任务?

dataworks的实时数据同步节点支持什么任务?

展开
收起
真的很搞笑 2023-10-17 11:09:28 61 0
6 条回答
写回答
取消 提交回答
  • DataWorks的实时数据同步节点主要支持以下任务:

    • 单表增量数据实时同步:可以支持单表的ETL实时同步。
    • 整库增量数据实时同步:可以将整个数据库的变化日志同步到目标端中,一般用作纯实时日志的收集。
    • 当配置一个实例下多个库的多个表时,一个任务中最多可支持3000个目标表。
    • 实时数据同步任务仅支持使用独享数据集成资源组。
    • 实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。
    • 实时数据同步任务暂不支持同步没有主键的表。

    总的来说,DataWorks的数据集成功能提供了丰富的数据同步任务类型,包括离线同步、实时同步和全增量同步等,用户可以根据需要选择合适的功能模块进行同步任务的配置。

    2023-10-31 23:47:21
    赞同 展开评论 打赏
  • DataWorks的实时数据同步节点支持多种数据源间的多种数据同步,详请可见下表。同步方式 来源数据源 去向数据源 数据源配置指导 同步任务配置指导
    同步单表数据 配置并管理实时同步任务
    同步整库数据 MaxCompute 配置并管理实时同步任务
    Hologres 配置并管理实时同步任务
    DataHub 配置并管理实时同步任务
    MySQL Kafka 配置数据源(来源为MySQL) 配置并管理实时同步任务
    https://help.aliyun.com/document_detail/181912.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-18 18:10:18
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    DataWorks的实时数据同步节点主要支持以下任务:

    1. 实时同步PolarDB、Oracle、MySQL数据源至MaxCompute。
    2. 实时同步节点仅支持同步有主键的表,暂不支持同步没有主键的表。
    3. 实时同步任务仅支持使用独享数据集成资源组。
    4. 实时同步不支持在数据开发界面运行任务,需要保存、提交实时同步节点后,在生产环境运维中心运行该节点。
    5. 如果选择一键实时同步方案,该方案将分别创建用于同步全量数据的离线同步任务,和用于同步增量数据的实时同步任务。
    6. 完成数据源、网络、资源的准备配置后,可以创建实时同步节点,将多种输入及输出数据源搭配组成同步链路,进行单表或整库数据的实时增量同步。
    7. 也可以配置并管理实时同步任务,将数据同步至Kafka。

    请注意,当实时同步至MaxCompute默认数据源(一般为odps_first)时,默认使用临时AK进行同步,临时AK超过7天会自动过期,同时,将导致任务运行失败。平台检测到临时AK导致任务失败时会自动重启任务,如果任务配置了该类型的监控报警,您将会收到报警信息。

    2023-10-18 14:10:37
    赞同 展开评论 打赏
  • 在DataWorks中,实时数据同步节点支持多种任务,包括但不限于以下几种:

    1. 数据采集任务:实时数据同步节点可以用来采集实时数据,并将数据同步到其他系统中。你可以使用实时数据同步节点来采集各种数据,例如日志数据、传感器数据、交易数据等。
    2. 数据处理任务:实时数据同步节点可以用来处理实时数据,例如清洗数据、聚合数据、分析数据等。你可以使用实时数据同步节点来处理各种数据,例如日志数据、传感器数据、交易数据等。
    3. 数据传输任务:实时数据同步节点可以用来传输实时数据,例如将数据传输到其他系统中、将数据存储到数据库中等。你可以使用实时数据同步节点来传输各种数据,例如日志数据、传感器数据、交易数据等。
    4. 数据集成任务:实时数据同步节点可以用来集成实时数据,例如将数据从一个系统集成到另一个系统中。你可以使用实时数据同步节点来集成各种数据,例如日志数据、传感器数据、交易数据等。
    2023-10-17 22:00:05
    赞同 展开评论 打赏
  • 配置并管理实时同步任务https://help.aliyun.com/zh/dataworks/user-guide/configure-and-manage-a-real-time-synchronization-node-3?spm=a2c4g.11186623.0.i142

    使用限制
    实时数据同步任务仅支持使用独享数据集成资源组。

    实时同步节点目前仅支持同步PolarDB、MySQL、OceanBase数据源至AnalyticDB MySQL。
    实时数据同步任务暂不支持同步没有主键的表。

    2023-10-17 14:50:20
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的实时数据同步节点支持以下任务:

    1. 同步MySQL Binlog、DataHub、LogHub、Kafka、PolarDB、SQL Server等数据源的实时数据。
    2. 同步整个数据库。
    3. 搜索结果收录于2023年9月26日。

    需要注意的是,实时数据同步任务仅支持使用独享数据集成资源组。此外,实时同步节点目前支持的数据源及数据转换方式如下:输入数据源:MySQL Binlog、DataHub、LogHub、Kafka、PolarDB、SQL Server。

    2023-10-17 13:13:01
    赞同 展开评论 打赏
滑动查看更多

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多