开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问下有实现达梦数据库的 Flink CDC么?

请问下有实现达梦数据库的 Flink CDC么?

展开
收起
真的很搞笑 2023-12-01 08:33:55 755 0
4 条回答
写回答
取消 提交回答
  • Flink CDC是基于Debezium和Apache Flink实现的,可以支持Flink CDC是基于Debezium和Apache Flink实现的,可以支持多种数据库系统的CDC数据同步。对于达梦数据库来说,首先需要确认该数据库是否支持CDC。如果达梦数据库支持CDC,那么可以使用Debezium MySQL Connector来连接到达梦数据库并读取其中的binlog数据。然而,如果达梦数据库不支持CDC,你可以考虑使用其他数据库的CDC工具来实现数据同步,例如使用Oracle CDC工具来同步数据。此外,如果达梦数据库提供了可编程的API或支持触发器/日志功能,也可以尝试自己实现一个自定义的Flink CDC Connector。

    2023-12-02 17:11:56
    赞同 展开评论 打赏
  • Flink-CDC——MySQL、SqlSqlServer、Oracle、达梦等数据库开启日志方法

    https://blog.csdn.net/wwh1st/article/details/133271663

    2.5达梦
    2.4.1安装
    省略了安装过程

    2.4.2CDC配置
    SYSDBA用户登录达梦数据库,进行如下操作:
    1)修改数据库为 MOUNT 状态。

    SQL> ALTER DATABASE MOUNT;
    操作已执行
    已用时间: 00:00:01.769. 执行号:0.

    2)配置本地归档

    SQL>ALTER DATABASE ADD ARCHIVELOG 'DEST = /home/dmdba/data/DAMENG/arch, TYPE = local, FILE_SIZE = 1024, SPACE_LIMIT = 2048';
    操作已执行
    已用时间: 00:00:02.139. 执行号:0.

    3)开启归档模式

    SQL>ALTER DATABASE ARCHIVELOG;
    操作已执行
    已用时间: 00:00:01.018. 执行号:0.

    4)修改数据库为 OPEN 状态

    SQL>ALTER DATABASE OPEN;
    操作已执行
    已用时间: 00:00:03.954. 执行号:0.
    操作完成后,使用如下语句确认数据库是否为归档模式。

    SQL> select arch_mode from v$database;

    行号 ARCH_MODE


    1 Y

    已用时间: 12.308(毫秒). 执行号:4.

    2023-12-02 11:18:27
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC(Change Data Capture)目前支持的数据库类型包括MySQL、PostgreSQL、Oracle、SQL Server和MongoDB等。截至我所知,达梦数据库并未被官方直接集成到Flink CDC中。

    然而,由于Flink CDC是开源项目,你仍然可以通过以下方式实现与达梦数据库的CDC:

    1. 自定义连接器

      • 你可以根据Flink提供的源代码来开发一个自定义的连接器,以适配达梦数据库。
      • 这需要对达梦数据库的内部机制有深入的理解,并且熟悉如何使用Flink API来处理变更事件。
    2. 使用第三方解决方案

      • 查找是否存在由社区或第三方开发者为达梦数据库创建的Flink CDC插件或者扩展。
    3. 手动触发

      • 如果达梦数据库支持触发器或者其他形式的日志记录,可以考虑通过其他方式获取变更数据,然后将其传递给Flink进行处理。
    2023-12-01 14:57:42
    赞同 展开评论 打赏
  • 没有,此回答整理自钉群“Flink CDC 社区”

    2023-12-01 12:06:04
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载