主kv

Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办，议程内容正式上线！

FFA 2022 官网：https://flink-forward.org.cn/

流批一体

流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例，详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。

流批一体架构在快手的实践和思考

张静｜快手技术专家，Apache Flink/Calcite Committer

本次演讲分享将包括：

流批一体的背景
流批一体在快手落地思路 & 分阶段建设的目标
第一阶段（加强 Flink 批能力建设）在快手的实践 & 挑战 & 进展
第二阶段（业务视角的流批一体）的挑战和相关的开放性问题

蚂蚁实时低代码研发和流批一体的应用实践

马年圣｜蚂蚁集团数据技术专家，实时数仓架构师

王鑫｜蚂蚁集团高级技术专家，Apache Storm PMC，Apache RocketMQ Committer，Apache IoTDB Committer

蚂蚁实时研发体系经过一年多的升级，已经形成了基于元表资产+Flink 引擎的实时研发模式，并在此基础上构建了实时的资产消费和保障体系。再往前一步，我们探索并落地了蚂蚁的低代码研发和流批一体研发能力，来降低实时研发门槛并提效实时开发。本次 FFA 期望能够向大家介绍这两种能力的构建背景（业务/技术）、构建思路、核心能力和应用场景案例，来详细分析这两个能力构建的细节。

Flink 流批一体方案在数禾的实践

杨涵冰｜上海数禾信息科技有限公司，大数据架构师

在如今互联网金融服务场景中，特征、模型、决策的实时性变得越来越重要，各场景对于实时化的需求也越来越多。

在对各场景的实时化实践中，我们遇到了一些共有的问题：离线、实时数据口径不一致；离线、实时逻辑不一致；批量、点查等查询场景多样；实时流特有概念较难理解，开发门槛较高；实时流回溯测试困难等问题。

本次分享将介绍数禾利用 Flink 流批一体方案解决上述问题的实践经验。

流批一体在 AI 核心电商领域的探索与实践

祝海峰｜阿里巴巴高级技术专家

搜索、推荐、广告等核心电商领域，涉及海量的电商、用户行为等数据，需要支持大规模深度模型参数更新，是一个典型的批次/实时计算结合的场景，阿里智能引擎事业部基于大数据存储和计算引擎技术(Flink)，针对复杂业务特点，简化用户 ETL 开发流程，探索出一套行之有效的批流一体技术，支撑了阿里巴巴集团数千个业务场景，具备 PB 级批处理，百万 TPS 吞吐，秒级延迟的处理能力。

Hive SQL on Flink 构建流批一体引擎

罗宇侠｜阿里云开发工程师

方盛凯｜阿里云开发工程师

在 Flink 1.16 中，社区通过加强对 Hive Dialect 的支持以及引进了 SQL Gateway 进一步提升了 Flink 对于 Hive 兼容性，帮助用户方便地将已有的 Hive 批作业迁移到 Flink 上以构建流批一体的计算引擎。在大部份的场景下，用户只需要将提交作业的地址更改为 Flink SQL Gateway 就可以将原本的 Hive 作业改为通过 Flink 来执行，做到了无缝切换。同时用户既可以使用 Hive SQL 也可以使用 Flink SQL 的语法写流式任务。

在本篇演讲过程之中，将介绍以下内容：

构建流批一体引擎的挑战
Hive SQL on Flink 构建流批一体引擎
流批一体引擎的收益
Demo
未来展望

Flink 流批一体在 Shopee 的大规模实践

李明昆｜Shopee 高级研发工程师，Flink Remote Shuffle Contributor

Shopee 各个业务线对 Flink 流批一体有很多需求，目前 Flink 流批一体已经具有支持大规模生产的能力，可以给数据开发的带来极大价值。

Shopee 的 Flink 团队大力发掘流批一体的价值，这次演讲将对这些落地实践做详细介绍。

流批一体在 Shopee 的应用场景
批处理能力的生产优化
与离线生态的完全集成
平台在流批一体上的建设和演进
未来规划

平台建设

平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、Apache StreamPark 社区、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。

阿里实时计算平台建设实践

周凯波｜阿里云高级技术专家，Apache Flink Contributor

随着业务的快速发展，集团各个 BU 对实时计算的需求越来越强烈，平台化能显著提高研发效率，降低运维成本。本次分享主要介绍阿里实时计算平台从 2.0 基于 Yarn 的架构到 3.0 云原生时代的演进，以及在 3.0 平台上一些核心功能的建设实践，如健康分，智能诊断，细粒度资源，作业探查以及企业级安全的建设等。

Flink 在蚂蚁大规模金融场景的平台建设

李志刚｜蚂蚁集团高级技术专家，蚂蚁集团流计算平台负责人

介绍 Flink 在蚂蚁的实践情况，主要包含 Flink on k8s，on k8s 集群模式，热启动，自动化调优，流控，流批一体等技术

爱奇艺统一实时计算平台建设

李恒｜爱奇艺资深研发工程师

为了更好地满足实时业务的需求，实现公司降本增效的目标，爱奇艺大数据团队对实时服务体系进行了系统的整合和优化设计。本次分享将介绍团队基于 Flink 建设统一实时计算平台的经验，以及通过数据湖和 Flink CDC 技术进行架构升级的实践。将分为三部分：

基于 Flink 的统一实时计算平台建设：旧服务整合和任务迁移，实现数据和任务统一维护，实现降本增效的目标。
基于 Flink 和 iceberg 的流批一体实践：平台化建设和用户行为数据近实时数仓建设。
Flink CDC 的实践：典型业务基于 Flink CDC 的数据架构升级。

Flink 实时计算平台在知乎演进

贾承昆｜知乎大数据架构负责人

实时计算平台在知乎的发展
Flink SQL + 一站式元数据管理平台化
可运维性提升和保障
Flink CDC 平台化

Dinky 在 Flink 开发模式的开源探索实践

亓文凯｜开源 Dinky Maintainer

Dinky 是一个开源 FlinkSQL 平台，由于它具备自身 Flink 环境，可以构建各种定制业务，所以它的能力不仅仅局限于作业提交运维，而是在 Flink 环境和生态应用带来了无限可能。本次分享将介绍 Dinky 在 Flink 新开发模式的开源探索实践。

Dinky & Flink 介绍
FlinkSQL 开发调试
FlinkCatalog 管理
FlinkCDC 整库实时入仓入湖
未来规划

货拉拉基于 Flink 计算引擎的应用与优化实践

王世涛｜货拉拉大数据实时研发平台负责人

Flink 在货拉拉的使用现状
性能优化主题 1：udf/udtf 维表化 + 经纬度预处理缓存
性能优化主题 2：利用 binlog 数据中 old 属性，减少聚合函数计算量
数据确定性优化主题：通用版本 Flink Per-partition watermark 问题解决方案
数据准确性优化主题：group by 状态过期，延迟数据导致聚合数据覆盖问题
稳定性优化主题 1：多场景脏数据容忍
稳定性优化主题 2：异步 sink
平台化方案 1：指标监控方案
平台化方案 2：hdfs/doris 分区数据完整性可见性方案
未来展望

Flink SQL 在美团实时数仓生产中的增强与实践

董剑辉｜美团数据系统研发工程师

张彬｜美团数据系统研发工程师

Flink SQL 算子属性可灵活配置的能力建设
Flink SQL 实时作业变更后从状态恢复的能力建设
Flink SQL 实时作业语义正确性问题排查的能力建设

联通 Flink 实时计算平台化运维实践

穆纯进｜联通数科实时计算团队负责人，Apache StreamPark Committer

业务介绍: 实时计算平台提供了在海量实时数据下打造平台级多种实时计算任务管理能力，集成了 50 多种实时数据源，日均 2.3 万亿的数据处理，支撑了 10000+的数据服务订阅。
Flink 作业运维背景：支撑需求多、实时作业多、研发人员多、使用用户多、上线频率高、稳定要求高、监控延迟低、作业上线流程长、作业用途不明确、作业异常责任人不明确。
基于 StreamPark 打造一站式的面向 Flink 实时计算作业的 DevOps 平台和作业管理平台，集成了项目创建、代码编译、作业创建、环境设置、资源配置、作业启停、监控告警、日志管理、UDF、版本管理、支持 YARN/Kubernetes/Remote 等多集群的管理功能。

小米基于 Flink 的实时数仓建设实践

周超｜小米软件开发工程师

在实时数仓场景下，小米选择 Flink 作为实时计算引擎，数据湖 Iceberg 作为存储底座，在流批一体方向不断探索，本次分享围绕小米在实时数仓方面的探索与实践展开，主要涉及：

小米数仓架构演进
基于 Flink+Iceberg 的实时数仓架构升级实践，提升链路稳定性与实时性
针对 Flink 状态过期而导致计算不确定性问题，介绍流批一体的解决方案
未来规划

Apache Streampark 让 Flink 开发管理更简单

王华杰｜Apache StreamPark PPMC, 社区发起人

Apache StreamPark(Incubating) 于 2022 年 9 月 1 号正式通过投票成为 Apache 软件基金会的孵化项目, 初衷是让流处理更简单，StreamPark 规范了项目的配置, 定义了最佳的编程方式, 提供了一系列开箱即用的 Connectors 和一套快速开发的脚手架, 使用 StreamPark 开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务。

另一方面，在实时作业开发部署管理方面, 没有针对 Flink 作业的专业管理平台，这是企业在实践中会遇到的一道坎。StreamPark 提供专业的作业开发管理平台，包括但不限于作业开发、调试、交互查询、部署、操作、运维、实时数仓&流式数仓等, 是一个完整的解决方案, 这次演讲将对这些落地实践做详细介绍。

项目简介
核心能力
实现原理
最佳实践
新功能预览
未来规划

AI 特征工程

AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。

FeatHub: 流批一体的实时特征工程平台

林东｜Apache Kafka Committer 和 PMC 成员

本次演讲中，我们将介绍 FeatHub，一个由阿里云自研并开源的实时特征平台。我们将介绍 FeatHub 的架构设计，已经完成的工作，以及近期的发展计划。

我们为 FeatHub 设计了易于使用的 Python SDK，来方便用户开发，分享，以及部署特征工程作业到生产环境。FeatHub 目前支持使用 Flink 作为计算引擎来完成流批一体的特征计算，支持在 Kafka,文件系统等多种存储引擎中读取和存储特征。用户可以使用声明式的 API 来定义特征，无需担心特征穿越的问题，也无需使用相对复杂的底层计算引擎 API 来计算特征。我们希望通过提供这些功能，来提升特征工程作业的开发效率，并推动实时特征工程的应用发展。

我们将介绍 FeatHub 在运满帮的实践经验，并展望 FeatHub 未来的发展方向。FeatHub 已经在 https://github.com/alibaba/feathub 开源。欢迎大家尝试使用并提供反馈。

微信安全基于 Flink 实时特征开发平台实践

李天旺｜腾讯专家级工程师

介绍微信安全基于 Flink 建设一站式实时特征开发平台实践；通过提供常用组件，方便重用能力与快速开发，并实现业务人员无需熟悉 Flink、无需写代码会简单 SQL 就能快速开发；再通过画布的形式组装组件，使业务逻辑更清晰、方便不同业务之间借鉴，赋能其他相似业务场景。

议题大纲如下：

风控实时特征开发的诉求与挑战
高效的一站式实时特征开发平台建设思路
线上运营过程遇到挑战
质量保障

基于 Flink ML 搭建的智能运维算法服务及应用

张颖莹｜阿里云计算平台算法专家

大数据平台运维场景对算法的需求特点（实时、海量、多源异构数据）
智能运维算法在大数据平台运维业务场景的应用案例和典型模型。
传统算法架构的局限性
使用 Flink ML 搭建智能运维算法服务具体流程和收益

字节跳动十亿级特征计算平台的建设和应用

廖嘉逸｜字节跳动推荐特征生产方向负责人

刘首维｜字节跳动推荐架构工程师

字节跳动推荐架构在去年开始着手构建了流批一体的特征生产系统，基于 Flink 和强大的 State 能力功能实现了有状态的窗口统计类特征，并在 ETL 特征场景实现了 Flink Streaming & Batch 的流批一体。随着业务的逐步上量和场景的不断丰富，系统又在易用性、性能、机器学习生态支持上，出现了新的问题和挑战。我们在特征系统推广的过程中遇到了算法工程师调优实时特征的成本过高、生产链路无法和特征回溯打通、长周期的实时特征无法初始化、特征类型支持不足等问题。通过对流批一体架构的多次迭代，我们在计算层面引入了跨作业的流批一体 Planner、状态 Bootstrap 等能力，帮助特征生产系统的生态更上了一个台阶。

背景
流批一体架构回顾
流批一体 Planner
问题与挑战
未来规划

以上为 Flink Forward Asia 2022 流批一体 & 平台建设 & AI 特征工程专场内容节选，了解更多大会详情可点击下方链接：

https://flink-forward.org.cn/

移动端建议观看 ApacheFlink 视频号预约观看:

点击预约直播~

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动：
99 元试用实时计算Flink版（包年包月、10CU）即有机会获得 Flink 独家定制卫衣；另包 3 个月及以上还有 85 折优惠！
了解活动详情：https://www.aliyun.com/product/bigdata/sc

FFA 2022 专场解读 - 流批一体 & 平台建设 & AI 特征工程