楼主你好,安装Flink12版本可以用FlinkCDC。FlinkCDC其实和canal差不多,只不过就是Flink社区开发的组件,用起来更方便一些。
Flink在1.11版本中新增了CDC的特性,简称改变数据捕获。
以上是之前的mysql binlog日志处理流程,例如canal监听binlog把日志写入到kafka中。而Apache Flink实时消费Kakfa的数据实现mysql数据的同步或其他内容等。拆分来说整体上可以分为以下几个阶段。
mysql开启binlog canal同步binlog数据写入到kafka flink读取kakfa中的binlog数据进行相关的业务处理。 整体的处理链路较长,需要用到的组件也比较多。Apache Flink CDC可以直接从数据库获取到binlog供下游进行业务计算分析。
flink12版本是可以使用flink cdc的,cdc的核心思想是监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。
Flink 1.2版本支持CDC(Change Data Capture)功能, 你可以使用Flink自带的CDC模块来实现对数据变化的监控。
Flink 1.2提供了一种基于流的CDC方法,它通过将数据源与Flink流式处理系统集成来实现对数据变化的实时监控。
你需要使用Flink SQL API或者Table API来实现对数据变化的监控,通过连接到数据库并设置好连接参数。
在Flink 1.2 之后版本中,还有一些第三方模块如Apache Nifi, Debezium等可以使用来实现CDC功能。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。