Flink CDC什么时候出个redis CDC 好多社交公司完全是把redis当作数据库来用?
截至目前,Flink CDC 尚未原生支持 Redis 的 CDC 功能。然而,Flink 社区中已经有一些开源项目提供了将 Redis 与 Flink 实现 CDC 同步的解决方案,例如 Redis-FlinkCDC
(https://github.com/asura-bi/Redis-FlinkCDC)。
Redis-FlinkCDC
是一个将 Redis 数据实时同步到 MySQL、HBase、Elasticsearch 等系统的方案,基于 Flink CDC 实现。它具有以下特点:
- 使用 Flink CDC 读取 Redis 的增量数据,通过 Redis Streams 来实现。 - 与 Flink 良好集成,可以使用 Flink SQL 进行数据转换和处理。 - 配置灵活,支持不同的同步方案,包括 1:1 或 1:N 的同步关系。 - 支持高可用性,能够从故障中恢复同步过程。
使用该方案的方式大致如下:
1. 将 Redis 配置为高可用模式,并启用 Redis Streams 功能。 2. 在 Flink 端,使用提供的 Redis Source 和 Sink 连接器来实现数据同步。 3. Redis Source 使用 Flink CDC Reader 来从 Redis Streams 获取增量数据。 4. 经过 Flink SQL 的转换后,将数据写入下游系统。
这是一个不错的选择,可以将 Redis 中实时变更的数据同步到数据湖或数据仓库。然而,请注意,在实际应用中,大多数公司并不将 Redis 作为主要的数据存储,而更常用于缓存数据。真实的数据通常存储在业务数据库中,例如 HBase、Table Store、Doris、StarRocks
对于Redis CDC,Flink没有内置支持。不过社区已经有开源项目提供了Redis到Flink CDC的同步功能:
https://github.com/asura-bi/Redis-FlinkCDC
这个项目是一个 Redis 到 MySQL/HBase/Elasticsearch 等系统的实时同步方案,基于 Flink CDC 实现。
特点是:
使用 FlinkCDC 读取 Redis 的增量数据(通过 Redis Streams)
与 Flink 良好集成,可以通过 Flink SQL 实现数据转换
配置灵活,支持多种同步方案(1:1 或 1:N)
支持高可用,可以从故障中恢复同步
使用方式为:
将 Redis 配置为高可用模式,启用 Redis Streams 功能
在 Flink 端,使用提供的 Redis Source 和 Sink 连接器实现数据同步
Redis Source 使用 Flink CDC Reader 从 Redis Streams 获取增量数据
通过 Flink SQL 转换后,写入下游系统
这是一个不错的选择,可以将 Redis 的实时变更同步到数据湖或数据仓库。
你去看看hbase,table-store,doris,starrocks等,redis太小了,redis存储的是缓存数据,真正的数据还是在业务数据库,没见过哪家公司把redis当做存储数据来用,此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。