开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink1.13.5 用mongodbcdc使用什么版本的?我就采集mysql中的数据到kafka

flink1.13.5 用mongodbcdc使用什么版本的?我就采集mysql中的数据到kafka,但是在cdh中我没有设置安全认证,是的,但是这个怎么整哦,不知道在哪配置,网上没找到

展开
收起
真的很搞笑 2023-07-13 15:14:05 173 0
4 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink 1.13.5 中使用 MongoDB Connector for Apache Flink(即 MongoDB CDC)进行数据同步时,需要根据具体的 MongoDB 版本和 Flink 版本,选择相应的 Connector 版本。在 MongoDB Connector for Apache Flink 的 GitHub 页面上,可以找到不同版本的 Connector,你可以根据自己的需求,选择合适的版本进行使用。

    具体来说,如果你使用的是 Flink 1.13.5,可以选择 MongoDB Connector for Apache Flink 1.3.0 版本。该版本支持 Flink 1.13.x 和 MongoDB 4.2.x、4.4.x 版本,可以实现 MongoDB 数据到 Kafka 的实时同步。你可以在 Maven 中央仓库或者 MongoDB Connector for Apache Flink 的 GitHub 页面上,下载相关的 JAR 包和文档,并按照说明进行安装和使用。

    需要注意的是,在使用 MongoDB Connector for Apache Flink 进行数据同步时,你需要对 Connector 进行相应的配置和优化,以确保数据同步的准确性和稳定性。具体来说,你需要根据 MongoDB 数据库的版本、数据量的大小、网络连接的速度等因素,选择合适的配置参数和优化策略,以提高数据同步的效

    2023-07-29 21:52:09
    赞同 展开评论 打赏
  • 在使用 Flink 1.13.5 版本时,您可以使用 MongoDB CDC 来采集 MySQL 数据并将其发送到 Kafka。对于使用 MongoDB CDC,您需要使用与 Flink 1.13.x 版本兼容的合适版本。

    关于配置问题,如果您没有设置安全认证,并且希望在 CDH(Cloudera Distribution Hadoop)中进行配置,请确保按照以下步骤操作:

    1. 安装 MongoDB Connector for Apache Flink: 首先,您需要在 Flink 中安装 MongoDB Connector for Apache Flink。您可以从官方 Maven 仓库或其他可靠来源下载 MongoDB Connector 的 JAR 文件,并将其添加到 Flink 的运行时环境中。

    2. 配置 MongoDB CDC 连接器: 在 Flink 的配置文件 (flink-conf.yaml) 中,您需要添加配置项来启用和配置 MongoDB CDC 连接器。以下是一个示例配置:

      sources:
        - name: mysql-source
          connector: mysql-cdc
          startup-mode: earliest-offset
      
      sinks:
        - name: kafka-sink
          connector: kafka
          topic: your-topic-name
          properties:
            bootstrap.servers: localhost:9092
      

      在这个示例中,我们配置了一个 MySQL CDC 连接器作为数据源,将数据发送到 Kafka。您需要根据实际情况修改连接器的名称、Kafka 相关配置以及其他必要的参数。

    3. 启动 Flink 作业: 配置完成后,您可以启动 Flink 作业,它将连接到 MySQL 数据库,并将变更数据发送到 Kafka。

    请注意,在 CDH 中进行配置可能与其他环境有所不同,具体取决于您的集群和部署设置。建议您参考 Cloudera 的文档或向 Cloudera 支持团队咨询,以获取更准确和详细的配置指导。

    2023-07-15 09:30:58
    赞同 展开评论 打赏
  • 存在即是合理

    Flink 1.13.5 支持 MongoDB CDC 2.0.0,可以使用该版本的 MongoDB CDC 来将 MySQL 中的数据采集到 Kafka 中。

    2023-07-14 13:43:13
    赞同 展开评论 打赏
  • 2.3,2.4都行,建议2.3吧,kafka不是2.x不是依赖zk的协作管理吗?,此回答整理自钉群“Flink CDC 社区”

    2023-07-13 16:21:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载