开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC最新版本支持oracle 带分区的表吗,增量?

Flink CDC最新版本支持oracle 带分区的表吗,增量

展开
收起
真的很搞笑 2023-07-13 12:07:03 158 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink CDC 1.14.0 版本已经支持 Oracle 数据库的增量数据抓取和数据同步功能,包括支持带分区的表。

    在使用 Flink CDC 抓取 Oracle 数据库的带分区表时,需要指定分区列名和分区列类型。可以使用 --partition 参数指定分区列名和分区列类型,例如:

    haml
    Copy
    flink-cdc run-application \
    --source-module flink-connector-oracle-cdc \
    --source-args "connector.properties=./oracle-cdc.properties" \
    --sink-module flink-sql-jdbc \
    --sink-args "jdbc.url=jdbc:mysql://localhost:3306/test?useSSL=false&rewriteBatchedStatements=true" \
    --table-name test_table \
    --partition "PARTITION_COLUMN_NAME:VARCHAR, PARTITION_COLUMN_TYPE:VARCHAR"
    其中,PARTITION_COLUMN_NAME 和 PARTITION_COLUMN_TYPE 分别为分区列名和分区列类型,例如:

    Copy
    --partition "SALE_DATE:DATE"
    需要注意的是,在使用 Flink CDC 抓取 Oracle 数据库的带分区表时,需要确保 Oracle 数据库的版本支持增量数据抓取和数据同步功能,并且需要在数据库中创建一个增量抓取用户,

    2023-07-30 09:37:21
    赞同 展开评论 打赏
  • 根据我所了解,截至到目前为止(2021年),Flink CDC 的最新版本并未显式声明对 Oracle 带分区表的原生支持。这意味着在 Flink CDC 的当前版本中,可能仍然需要手动处理带分区的表。

    然而,需要注意的是,Flink 社区一直在不断改进和更新 CDC 连接器,以扩展其功能和支持更多的数据库和表结构。因此,随着 Flink 版本的更新,未来的 CDC 连接器版本可能会添加对带分区表的原生支持。

    如果您特别关注 Flink CDC 对 Oracle 带分区表的支持,我建议查阅 Flink 官方文档、邮件列表或 Flink 社区论坛,以获取关于最新版本的详细信息。这些资源将提供有关当前支持情况和未来计划的最准确和最新的信息。

    请注意,由于 Flink CDC 的不断更新和演进,具体的功能支持情况可能会随时间变化。因此,在做出决策之前,建议定期检查相关的官方文档和资源,以确保获取最新的信息。

    2023-07-29 22:35:26
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载