开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC有那位大佬有成功的写出OracleCDC的DDL同步吗?

Flink CDC有那位大佬有成功的写出OracleCDC的DDL同步吗? 有没有什么特殊的配置需要开启的?

展开
收起
真的很搞笑 2023-11-22 09:33:32 87 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 Flink CDC 中,可以通过配置参数来控制是否同步 Oracle 数据库的 DDL(Data Definition Language)语句。
    首先,您需要确保您的 Oracle 数据库已经启用了归档模式,并且设置了正确的归档目录。这是因为 Flink CDC 是通过监听归档日志来捕获 DDL 变更的。
    然后,在配置 Flink CDC 连接器时,可以设置 include.schema.changes 参数为 true 来启用 DDL 同步。例如:

    {
      "connector.class": "io.debezium.connector.oracle.OracleConnector",
      "offset.storage": "org.apache.kafka.connect.storage.FileOffsetBackingStore",
      "offset.storage.file.filename": "/path/to/offset/storage/file.dat",
    
      "database.server.name": "dbserver1",
      "database.hostname": "localhost",
      "database.port": "1521",
      "database.user": "hr",
      "database.password": "hr",
      "database.dbname": "pdborcl",
    
      "include.schema.changes": "true",
    }
    

    在上面的配置中,设置 include.schema.changes 参数为 true 后,Flink CDC 将开始监听 Oracle 数据库的 DDL 变更,并将这些变更发送到 Kafka 主题中。
    需要注意的是,目前 Flink CDC 对于 Oracle DDL 同步的支持并不完美,可能会存在一些已知的问题。

    2023-11-29 13:32:24
    赞同 展开评论 打赏
  • 对于Flink CDC实时同步Oracle,首先需要确保Oracle中相关表已开启归档日志和补充日志。因为Flink CDC基于Debezium的LogMiner实现,LogMiner需要使用Oracle的归档日志和补充日志来获取变更数据。然后在Flink程序中创建Oracle CDC连接。

    关于DDL变更的问题,目前存在一些疑问和挑战。一些用户反映,尽管开启了includeSchemaChanges选项,但仍无法监听到DDL变更。这可能需要更深入的研究和探索。

    在进行此类操作时,推荐参考官方文档和社区中的相关案例。这些资源可能包含有关如何配置和使用Flink CDC进行Oracle数据库DDL同步的详细信息和最佳实践。

    2023-11-29 12:01:17
    赞同 展开评论 打赏
  • Flink CDC 支持 Oracle DDL 同步功能,并不需要特殊的配置。在 Oracle 数据源上启用日志挖掘功能。具体步骤如下:

    1. 执行 FLINK-CDC 工具安装包中的 enable_miner.sh 脚本。
    2. 修改 Oracle 用户的权限,授予必要的权限给 FLINK-CDC 用户。
    3. 在 FLINK-CDC 客户端的属性文件中指定 Oracle 日志文件的位置及格式,以及 Oracle 的服务器 IP 地址等信息。
    4. 启动 FLINK-CDC 客户端,并指定相应的 Oracle 数据源及 DDL 信息。
    5. 当新的 DDL 变更发生时,FLINK-CDC 将自动检测并同步到目标库中。
    2023-11-22 16:37:32
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载