1、数据转换(Data Transformation):Flink CDC 支持在数据流中进行转换操作,包括列投影、计算列、过滤表达式和标量函数等。这些转换操作可以帮助你在数据传输过程中处理复杂的数据关联和转换需求。
2、路由(Routing):Flink CDC 允许你在 YAML 配置中使用路由字段来修改变更数据的目标数据库和表名,这可以实现数据的分发和合并,例如将多个上游表的数据合并到下游的一个表中。
3、Schema 变更支持:Flink CDC 通过定制化的 schema operator 以及 schema registry 的协调,实现对上游 schema 变更的实时同步。当上游发生 schema 变更时,Flink CDC 可以暂停数据流处理,将变更信息同步给 schema registry,并在下游系统中应用 schema 变更,然后恢复数据流处理。
4、数据分发处理:Flink CDC 定制了 router 算子,实现对变更数据的分发和合并。用户可以在 YAML 中使用 route 字段定义路由规则,将数据同步至指定目标端,也可以通过多对一的路由规则将多个表合并为目标端中的一张表
。-此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。