Flink CDC 项目 GitHub star 破 2000,新增 Maintainer 成员

简介: Flink CDC 项目动态,更有 2.2 版本内容前瞻!

前言:什么是 Flink CDC ?

Flink CDC 是一个使用 Apache License 2.0 协议的开源项目,支持从 MySQL、MariaDB、RDS MySQL、Aurora MySQL、PolarDB MySQL、PostgreSQL、Oracle、MongoDB、SqlServer、TiDB、OceanBase 等数据库中实时地读取存量历史数据和增量变更数据,整个过程提供 exactly-once 语义保证。Flink CDC 同时提供了 SQL API 和 DataStream API 两套 API,很好地满足了不同开发者的需求。

作为新一代数据集成框架,Flink CDC 既可以替代传统的 DataX 和 Canal 工具做实时数据同步,将数据库的全量和增量数据一体化地同步到消息队列和数据仓库中;也可以做实时数据集成,将数据库数据实时入湖入仓;同时还支持强大的数据加工能力,可以通过 SQL 对数据库数据做实时关联、打宽、聚合,并将物化结果写入到各种存储中。相对于其他数据集成框架,Flink CDC 具有全增量一体化、无锁读取、并发读取、分布式架构等技术优势,在开源社区中非常受欢迎。

Flink CDC 项目地址:

https://github.com/ververica/flink-cdc-connectors

一、GitHub star 超过 2000

自 2020 年 7 月份开源以来,Flink CDC 社区发展迅速,在 GitHub 的关注度持续走高。回顾 Flink CDC 项目的发展,在 2021 年 9 月初,Flink CDC 项目的 GitHub star 首次超过 1000,也是这个时候 Flink CDC 发布了 2.0 版本,正式进入大规模生产可用阶段,社区的发展速度也犹如装上了加速引擎。

img

越来越多的人知道并开始使用 Flink CDC,众多的开发者参与到 Flink CDC 的贡献中。仅过去半年,Flink CDC 项目的 GitHub star 数就完成了翻番。截至发稿前,Flink CDC 项目的 GitHub star 数达到 2015,fork 数达到了 660,issue 数达到了 582。这就是开源的力量!

img

社区的发展离不开全体社区开发者的贡献和用户的支持,目前 Flink CDC 项目的贡献者已增加至 34 人,贡献者来自 Cloudera、RedHat、Vinted、阿里巴巴、蚂蚁、网易、XTransfer 等国内外公司。Flink CDC 社区用户群发展也非常迅速,中文用户群成立半年多便达到 3800+ 人。

img

根据社区用户群和公开资料统计,目前使用 Flink CDC 的公司包括 Cloudera、Vinted、阿里巴巴、蚂蚁、网易、腾讯、哔哩哔哩、XTransfer、37 手游、农业银行、民生银行、深圳市领星网络、大健云仓等国内外云厂商和知名企业。通过这些云厂商提供的流计算服务和多家企业实践,我们发现正有越来越多的用户借助 Flink CDC 来快速实现数据实时集成和数据湖实时构建。

二、新增 Maintainer 成员

Flink CDC 社区的快速发展离不开贡献者们的努力,在 Flink CDC 社区高速发展的过程中,涌现了一批活跃的高质量的贡献者。经过 Flink CDC 社区 Maintainer 小组讨论, Flink CDC 社区已经邀请 Jiabao-Sun (孙家宝) 加入 Flink CDC 社区的 Maintainer 列表。

img

孙家宝老师是 XTransfer 基础架构部的资深 Java 开发工程师,负责 XTransfer 基础设施和大数据平台建设,他长期活跃在 Flink CDC 社区,作为核心贡献者在社区贡献了包括 MongoDB CDC Connector 在内的多个 PR,同时在社区 issue 列表和 Flink CDC 社区群非常积极,帮助社区开发者和用户解答了非常多的问题,为社区发展做出了极大的贡献。

期待孙家宝老师作为 Flink CDC 项目的 Maintainer,为 Flink CDC 的发展带来更多元的视角,帮助更多的社区贡献者和用户。也希望未来能有更多的贡献者可以加入 Maintainer 列表,不断推动社区的发展。

三、Flink CDC 2.2 版本前瞻

经过社区 3 个月的开发,已经合并了 47 commits,Flink CDC 2.2 版本也即将与大家见面,包含了许多用户期待已久的功能。

img

  • 2.2 版本会新增 SqlServer CDC,TiDB CDC,OceanBase CDC 三个 Connector,支持从上三种数据库中读取全量和增量 CDC 数据。
  • MySQL CDC 支持动态加表,如果你一个 CDC pipeline 监控了4张表,突然有天老板想让你加几张表,你肯定不想另起作业 (浪费资源),那么这个 feature 可以让你在已有 pipeline 中增加需要监控的表,而无需重新读取已同步的表。
  • 所有 CDC Connector 都可以兼容 Flink 1.13 和 Flink 1.14 版本,意味着同一个 Connector 可以跑在不同版本的集群上。
  • 增量快照读取算法抽象成通用框架,便于其他 connector 接入。只需额外实现少量代码,新 connector 便能支持无锁读取、多并发读取、全程断点续传等功能。
  • MongoDB CDC 支持正则表达式过滤集合, 在 2.1 版本里 MongoDB CDC 只能捕获单个集合或者 DB 下的全部集合,2.2 版本将提供正则匹配集合支持。
  • MySQL CDC 将支持 MySQL 5.6,这对低版本的 MySQL 用户来讲绝对是个好消息。
  • 此外,2.2 版本也修复了很多用户反馈 bug 和小的改进。

社区的贡献者们正在紧锣密鼓地筹备 2.2 版本的发布,目前预计 3 月中下旬便能与用户见面,也欢迎感兴趣的小伙伴成为 Flink CDC 的贡献者,一起参与设计、研发和测试,共同推动社区的发展!


更多 Flink 相关技术问题,可扫码加入社区钉钉交流群
第一时间获取最新技术文章和社区动态,请关注公众号~

image.png

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:
99 元试用 实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制卫衣;另包 3 个月及以上还有 85 折优惠!
了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
6月前
|
人工智能 安全 文件存储
炸裂!Github 6000+ star 开源免费易用,支持1000+格式转换,值得收藏!
ConvertX 是一款开源免费的在线文件转换工具,支持超过 1000 种格式转换,涵盖视频、文档、图像、3D 模型等。基于 FFmpeg、Pandoc 等强大组件,提供高效、私密的转换服务。支持 Docker、NAS 自托管部署,界面简洁,操作便捷,适合多场景使用,已在 GitHub 收获 6000+ Star,值得收藏和使用。
1038 0
|
6月前
|
JSON Kubernetes 安全
找到啦,我们已上车,Github 27000+ star,研发团队必备开源工具项目,真丝滑!!!
Trivy 是一款高效灵活的开源安全扫描工具,支持容器镜像、文件系统、Kubernetes 等多目标扫描,具备快速、易用、集成性强等特点,适用于 DevSecOps 全流程安全检测。
269 0
|
6月前
|
自然语言处理 数据可视化 C++
Github 68000+ star,一款提升论文写作效率的黑科技,挖掘大语言模型的学术潜能,为什么gpt_academic能成为你论文写作的秘密武器?
binary-husky/gpt_academic 是一款集成 GPT/GLM 类大模型的学术写作优化神器,学术界和科研领域都在快速拥抱大语言模型 (LLM),但真正能助力论文阅读、润色、写作的工具却少之又少。gpt_academic(GPT 学术优化)正是为此诞生:聚焦论文生产全流程,从阅读理解、翻译润色、结构优化,到理工项目剖析,提供一站式解决方案。
370 0
|
7月前
|
Rust 安全 前端开发
Github 轻松斩获30k+ Star,桌面应用开发太丝滑啦,Tauri框架能重塑桌面App开发?别错过,抓紧上车
Tauri 是一个基于 Rust 的开源框架,用于构建轻量级、高性能、安全的跨平台桌面及移动应用。它利用系统 WebView 渲染前端界面,后端由 Rust 编写,具备出色的性能和安全性。相比 Electron,Tauri 应用体积更小、启动更快,且默认权限更安全。它支持 React、Vue、Svelte 等主流前端框架,并提供自动更新、CLI 工具链、资源注入优化等功能,适用于生产力工具、开发者工具、数据分析、AI 应用等多种场景。目前 Tauri 在 GitHub 上已获得超过 30,000 Star,社区活跃,是现代桌面应用开发的理想选择。
939 0
|
5月前
|
Apache 数据安全/隐私保护 Docker
【开源问答系统】GitHub 14.9k star 的开源问答引擎来了,三分钟搭建完成~~~
Apache Answer 是一款开源问答系统,助力团队将零散知识沉淀为结构化资产。支持 Docker 快速部署、插件扩展、权限控制与多语言,兼具高效搜索、投票排序与私有化部署能力,适用于技术社区、企业知识库与用户支持场景。
736 22
|
6月前
|
缓存 自然语言处理 JavaScript
Github 3k+ star,中后台管理系统框架,支持多款 UI 组件库,兼容PC、移动端!比商业系统还专业!!
Fantastic-admin/basic 是基于 Vue3 与 TypeScript 的中后台管理系统框架,支持多款 UI 组件库,如 Element Plus、Arco Design、Naive-UI 等。它提供完整的项目结构、权限控制、国际化、多级缓存标签页等功能,兼容 PC、平板及移动端,适合快速搭建企业级后台应用。框架具备高度可定制性,拥有 3k+ GitHub Star,生态完善,适合中小团队和个人开发者提升效率。
376 2
|
6月前
|
数据采集 人工智能 数据可视化
GitHub 15.8k star 狂涨 DeerFlow,AI + 搜索 + 报告输出一次搞定!
DeerFlow 是字节跳动开源的深度研究框架,集成语言模型、搜索爬虫与代码执行工具,支持自动化完成复杂研究任务并生成多模态报告。具备多智能体协作、强搜索能力、Python 数据分析及可视化、报告自动生成等功能,适用于学术研究、内容创作与企业分析,部署灵活,社区活跃。
596 2
|
6月前
|
JavaScript 安全 API
Github 2.2k star,揭秘高效开发利器!之前我还手搓,现在有它,直接起飞
FastMCP 是一个由 punkpeye 开发的 TypeScript 框架,旨在简化 MCP 服务器构建流程,助力 LLM 无缝连接工具与数据资源。它提供工具(Tool)、资源(Resource)、Prompt、传输方式等模块,支持 Schema 校验、CLI 调试、HTTP Streaming/SSE 等特性,解决开发者在 MCP 协议实现中的复杂性问题。具备轻量高效、部署灵活、生态兼容等优势,适合桌面客户端与 Web 服务集成,助力开发者快速实现业务逻辑。项目持续活跃维护,GitHub 已获 2.2k star。
251 1
|
6月前
|
SQL 关系型数据库 Apache
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。
2658 0
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
|
6月前
|
人工智能 编解码 JSON
不看后悔!GitHub 开源 MultiTalk .8k star 强大的人语音+图像绑定项目
MultiTalk 是 GitHub 上的开源项目,具备音频驱动、多人对话视频生成功能。支持多路音频与图像绑定,实现高同步唇动与角色互动,适用于教学、虚拟人及短视频创作,已获 8k 星标。
650 0

相关产品

  • 实时计算 Flink版