实时计算 Flink

本文整理自阿里云高级开发工程师罗宇侠在Flink Forward Asia 2024上海站的分享，介绍了湖流割裂的现状与挑战，Fluss湖流一体架构的设计与优势，以及未来规划。内容涵盖湖流割裂的现状、Fluss架构详解、湖流一体带来的收益，以及未来的生态扩展和技术优化。

FFA2024流批一体专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家聚焦于流批一体数仓的最新进展与实践，涵盖从理论探索到实际应用的全方位内容。

本文整理自阿里云开源大数据负责人王峰（莫问）在 Flink Forward Asia 2024 上海站主论坛开场的分享，今年正值 Flink 开源项目诞生的第 10 周年，借此时机，王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果，最后展望下一个十年 Flink 路向何方。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

FFA2024云原生专场由Apache Flink核心贡献者与来自阿里云、网易游戏、小红书、美团、哔哩哔哩等公司的一线技术专家带来，聚焦Flink与云原生技术的结合，探讨如何在云原生环境中高效部署和深度优化Flink流批任务。通过实战经验分享，帮助开发者利用容器化、K8s、Serverless等工具，在稳定、性能、成本之间取得平衡。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

FFA2024流批一体专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家聚焦于流批一体数仓的最新进展与实践，涵盖从理论探索到实际应用的全方位内容。

FFA2024流式湖仓专场由 Apache Flink 核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA2024流式湖仓专场由Apache Flink核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践，重点探讨 Flink 的核心技术（如状态管理、容错机制、数据传输、大规模调度和核心算法等）在实际生产环境中面临的挑战，以及如何通过最佳实践来进行扩展和改进。

FFA2024Data+AI专场由Apache Flink核心贡献者与来自哔哩哔哩、抖音集团、Elastic、京东、硕橙科技等公司的一线技术专家带来，聚焦实时大数据处理与人工智能的前沿融合，共同探讨如何利用Flink助力AI大模型技术的实时化升级，议题涵盖但不限于特征工程、训练、推理、大模型架构优化、以及实时AI大模型在各行业领域的创新应用。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效，安全，敏捷地落地实时数据处理框架。

FFA2024行业解决方案专场由 Apache Flink 核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

本文撰写自阿里云开源大数据平台数据通道团队，主要介绍了 Flink CDC YAML 在实时计算Flink版的最佳实践。

FFA 2024 流批一体专场由 Apache Flink 核心贡献者与来自阿里云智能、小米、快手、美团、腾讯及抖音集团公司的一线技术专家聚焦于流批一体的最新进展与实践，涵盖从理论探索到实际应用的全方位内容。围绕构建高效、统一的流批处理架构展开深入探讨。

FFA 2024数据集成专场由 Apache Flink 核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

FFA2024流式湖仓专场由Apache Flink核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以Apache Paimon为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析Flink技术动向与应用实践，重点探讨Flink的核心技术在实际生产环境中面临的挑战，以及如何通过最佳实践来进行扩展和改进。

Apache Flink 年度技术盛会聚焦“回顾过去，展望未来”，涵盖流式湖仓、流批一体、Data+AI 等八大核心议题，近百家厂商参与，深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ，可在线阅读和下载。

适逢Apache Flink诞生10周年，今年的FFA与广大开发者分享Flink过去十年在技术和生态方面的演进历程及关键成果。同时，基于当前AI时代的新场景，展望未来十年Flink的发展方向和规划。大会还将为您提供全面了解Flink2.0版本的机会，并与业界领袖共同探讨Apache Flink的过去、现在及未来，以及其在实际应用中的潜力。

适逢 Apache Flink 诞生 10 周年，今年的 FFA 主论坛将与广大开发者分享 Flink 过去十年在技术和生态方面的演进历程及关键成果。同时，基于当前 AI 时代的新场景，展望未来十年 Flink 的发展方向和规划。还将为您提供全面了解 Flink 2.0 版本的机会，并与业界领袖共同探讨 Apache Flink 的过去、现在及未来，以及其在实际应用中的潜力。

FFA2024云原生专场由 Apache Flink 核心贡献者与来自阿里云、网易游戏、小红书、美团、哔哩哔哩等公司的一线技术专家带来，聚焦Flink与云原生技术的结合，探讨如何在云原生环境中高效部署和深度优化Flink流批任务。通过实战经验分享，帮助开发者利用容器化、K8s、Serverless等工具，在稳定、性能、成本之间取得平衡。

FFA2024Data+AI专场由 Apache Flink 核心贡献者与来自哔哩哔哩、抖音集团、Elastic、京东、硕橙科技等公司的一线技术专家带来，聚焦实时大数据处理与人工智能的前沿融合，共同探讨如何利用Flink助力AI大模型技术的实时化升级，议题涵盖但不限于特征工程、训练、推理、大模型架构优化、以及实时AI大模型在各行业领域的创新应用。

FFA 2024 核心技术专场由 Apache Flink 核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家解析 Flink 技术动向与应用实践，重点探讨 Flink 的核心技术（如状态管理、容错机制、数据传输、大规模调度和核心算法等）在实际生产环境中面临的挑战，以及如何通过最佳实践来进行扩展和改进。

FFA 2024 流式湖仓专场由 Apache Flink 核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA 2024生产实践专场由 Apache Flink 核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

Flink Forward Asia 2024 将于11月29日至30日在上海举行，作为Apache Flink社区的重要活动，本次大会将聚焦Flink十年技术演进与未来规划，涵盖Flink 2.0新特性、Paimon数据湖格式、Fluss实时分析存储解决方案等内容，并设有圆桌讨论，探讨AI时代下大数据技术的发展方向。欢迎预约直播，参与互动赢取好礼。

Flink Forward Asia 2024 将于 11 月 29-30 日在上海举行，庆祝 Apache Flink 诞生十周年。大会将回顾 Flink 的技术成就，展望未来十年的发展，并介绍 Flink 2.0 版本。通过三种参与方式，您有机会免费赢取大会两日通票和 Flink 专属周边。