开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问代码里面 flink-分别是用来干啥的呢?有什么区别呢?

请问代码里面 flink-connector-mysql-cdc 和 flink-sql-connector-mysql-cdc 分别是用来干啥的呢?有什么区别呢?

展开
收起
真的很搞笑 2023-11-22 09:13:41 68 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC中有两种主要的数据源连接器:

    • flink-connector-mysql-cdc: 这种连接器基于Debezium引擎,可以从Mycelius、Marathon等环境中获取变更日志。
    • flink-sql-connector-mysql-cdc: 这种连接器用于读取MySQL中的变更日志,并支持流式处理。

    二者的主要区别在于,前者用于实时流处理,而后者用于批处理。前者支持增量更新和细粒度的数据捕获,后者提供了一个更简单的API,用于编写批处理SQL查询。
    具体而言,flink-connector-mysql-cdc提供了一系列强大的特性,包括:

    • 自动检测源数据库的结构变化
    • 支持跨数据库复制
    • 对大规模数据变更的高效处理

    而flink-sql-connector-mysql-cdc提供了一个简单的API,可以让用户轻松地编写批处理查询。
    总之,选择哪种连接器取决于您的需求,如果您需要实时流处理能力,请选择flink-connector-mysql-cdc;如果需要简单地读取数据库中的数据,请选择flink-sql-connector-mysql-cdc。

    2023-11-29 13:50:21
    赞同 展开评论 打赏
  • flink-connector-mysql-cdc 和 flink-sql-connector-mysql-cdc 都是用于连接MySQL数据库的Flink连接器,它们之间的主要区别在于使用方式和API接口。

    1. flink-connector-mysql-cdc:这是一个基于Java的连接器,需要用户自己编写代码来创建Flink程序并配置数据源和数据接收器。它提供了较为底层的API接口,可以让用户更加灵活地控制数据的读取和处理过程。

    2. flink-sql-connector-mysql-cdc:这是一个基于SQL的连接器,可以直接在Flink SQL语句中使用。它提供了更为简单的API接口,用户只需要在SQL语句中指定数据源和数据接收器即可。此外,它还支持一些高级特性,如分区、增量同步等。

    总的来说,如果你熟悉Java编程并且希望有更多的控制权,可以选择使用flink-connector-mysql-cdc;如果你希望更方便地使用Flink进行数据同步,可以选择使用flink-sql-connector-mysql-cdc。

    2023-11-29 12:01:23
    赞同 展开评论 打赏
  • 如果你要用flink-sql有sql包,如果你只写datastream(没有table-api),只需要前者b4c0d82ddae62d14743f1bfc2046fa20.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 12:06:11
    赞同 展开评论 打赏
  • flink-connector-mysql-cdc 和 flink-sql-connector-mysql-cdc 是两个不同的 FLINK 插件,但它们都是用于连接 MySQL 数据库的。

    • flink-connector-mysql-cdc 是 FLINK 的 DataStream connector 插件,用于实时读取 MySQL 的变更数据捕获(CDC)日志并进行实时分析。
    • flink-sql-connector-mysql-cdc 是 FLINK SQL 的插件,用于实时读取 MySQL 的 CDC 日志,并支持 SQL 查询和流处理。

    可以根据自己的需求选择相应的插件。两者之间的主要区别在于,flink-connector-mysql-cdc 具有更多的控制选项,并且可以直接从 Java 代码中访问 CDC 日志,而 flink-sql-connector-mysql-cdc 则提供了简单的 SQL 查询语法。如果您只需要实时处理 MySQL 数据,并且不需要自定义逻辑,可以优先考虑使用 flink-sql-connector-mysql-cdc。

    2023-11-22 11:05:48
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载