开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用?

Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用?

展开
收起
真的很搞笑 2023-07-02 12:01:49 379 0
3 条回答
写回答
取消 提交回答
  • 截至目前,Flink CDC 尚未原生支持 Redis 的 CDC 功能。然而,Flink 社区中已经有一些开源项目提供了将 Redis 与 Flink 实现 CDC 同步的解决方案,例如 Redis-FlinkCDC(https://github.com/asura-bi/Redis-FlinkCDC)。

    Redis-FlinkCDC 是一个将 Redis 数据实时同步到 MySQL、HBase、Elasticsearch 等系统的方案,基于 Flink CDC 实现。它具有以下特点:

    - 使用 Flink CDC 读取 Redis 的增量数据,通过 Redis Streams 来实现。 - 与 Flink 良好集成,可以使用 Flink SQL 进行数据转换和处理。 - 配置灵活,支持不同的同步方案,包括 1:1 或 1:N 的同步关系。 - 支持高可用性,能够从故障中恢复同步过程。

    使用该方案的方式大致如下:

    1. 将 Redis 配置为高可用模式,并启用 Redis Streams 功能。 2. 在 Flink 端,使用提供的 Redis Source 和 Sink 连接器来实现数据同步。 3. Redis Source 使用 Flink CDC Reader 来从 Redis Streams 获取增量数据。 4. 经过 Flink SQL 的转换后,将数据写入下游系统。

    这是一个不错的选择,可以将 Redis 中实时变更的数据同步到数据湖或数据仓库。然而,请注意,在实际应用中,大多数公司并不将 Redis 作为主要的数据存储,而更常用于缓存数据。真实的数据通常存储在业务数据库中,例如 HBase、Table Store、Doris、StarRocks 

    2023-07-30 13:02:23
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    对于Redis CDC,Flink没有内置支持。不过社区已经有开源项目提供了Redis到Flink CDC的同步功能:
    https://github.com/asura-bi/Redis-FlinkCDC
    这个项目是一个 Redis 到 MySQL/HBase/Elasticsearch 等系统的实时同步方案,基于 Flink CDC 实现。
    特点是:
    使用 FlinkCDC 读取 Redis 的增量数据(通过 Redis Streams)
    与 Flink 良好集成,可以通过 Flink SQL 实现数据转换
    配置灵活,支持多种同步方案(1:1 或 1:N)
    支持高可用,可以从故障中恢复同步
    使用方式为:
    将 Redis 配置为高可用模式,启用 Redis Streams 功能
    在 Flink 端,使用提供的 Redis Source 和 Sink 连接器实现数据同步
    Redis Source 使用 Flink CDC Reader 从 Redis Streams 获取增量数据
    通过 Flink SQL 转换后,写入下游系统
    这是一个不错的选择,可以将 Redis 的实时变更同步到数据湖或数据仓库。

    2023-07-30 10:54:52
    赞同 展开评论 打赏
  • 你去看看hbase,table-store,doris,starrocks等,redis太小了,redis存储的是缓存数据,真正的数据还是在业务数据库,没见过哪家公司把redis当做存储数据来用,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 12:20:33
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载