开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 能从kafka消费数据 写到doris吗?

flink cdc 能从kafka消费数据 写到doris吗?

展开
收起
真的很搞笑 2023-12-10 20:56:34 310 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    确实,Flink CDC 可以从 Kafka 消费数据并写入到 Doris。首先,通过 Flink Kafka Connector,我们可以实时流式地消费 Kafka 中的数据。然后,利用 Doris Flink Connector,我们能够将数据实时或批次同步到 Doris 数据库中。

    此外,Flink CDC 结合 Apache Doris Flink Connector 和 Doris Stream Load 可以实现两阶段提交,进一步实现MySQL数据库分库分表的实时高效接入到Doris数据仓库中进行分析。

    2023-12-11 16:20:46
    赞同 展开评论 打赏
  • 可以 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-11 11:58:07
    赞同 展开评论 打赏
  • 是的,Flink CDC可以从Kafka消费数据并写入到Doris中。Flink CDC支持从多种数据库(如MySQL、MariaDB、PG、Oracle、MongoDB 、Oceanbase、TiDB、SQLServer等)捕获变更数据,并将这些变更实时同步到下游存储,包括Kafka、Pulsar消息队列,以及Hudi、Iceberg、Doris等数据仓库及数据湖中。

    要使用Flink CDC从Kafka消费数据并写入Doris,你需要按照以下步骤操作:

    1. 首先,你需要在Doris中创建一个目标表,用于接收从Kafka消费的数据。
    2. 然后,你需要使用Flink CDC从Kafka消费数据,并将这些数据转换为Doris表所需的格式。
    3. 最后,你需要使用Flink的JDBC connector将处理后的数据写入Doris数据库。

    在提交Flink作业时,你需要指定连接到Doris数据库所需的JDBC驱动程序和连接参数。

    2023-12-11 09:03:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
    消息队列kafka介绍 立即下载