FFA 2022 专场解读 - 实时风控 & 实时湖仓 & 数据集成
Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办，议程内容正式上线！
FFA 2022 官网：https://flink-forward.org.cn/
实时风控
实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。
网易游戏实时 HTAP 计费风控平台建设
林佳｜网易互娱技术中心计费实时平台与 SDK 技术负责人，Apache Flink Contributor，Flink CDC Contributor
用户在终端设备上的一次行为动作，往往需要多个系统协作完成，其间会同时触发多个请求，产生跨越多个服务提供方和各类异构数据的一次业务会话。计费行为（登录/支付等）正是这类复杂业务会话的典型，也是关系到营收的风险控制关键阶段。要实时关联并还原业务会话，满足具体问题定位、宏观质量监控、故障分类和归因等风控需求，是业界的一大难题。
在网易互娱计费数据中心开发计费实时风控需求的实践中，基于 Flink 和 TiDB，在实时计算、非结构化存储、HTAP 实践等技术领域做了大量的探索，积淀了不少业界前沿的实践经验，本次演讲旨在与分享和讨论其中的关键技术和最佳实践，本次演讲内容将包括：
- 基于 Flink 的配置式跨请求复杂风控业务会话关联分析
- 实时异常识别与自适应修复
- 提升数据能效
- Flink + TiDB，实时 HTAP 风控平台建设
Flink CEP 在抖音电商的业务实践
张健｜字节跳动数据工程师
FlinkCEP 是基于 Flink 实现的实时数据规则引擎，支持跨多个事件的规则匹配。然而，当前 FlinkCEP 在多规则处理、规则表达方面还存在易用性问题。本次分享主要介绍 FlinkCEP 在抖音电商业务的应用实践以及易用性优化：
- FlinkCEP 简介
- 抖音电商业务场景介绍
- 抖音电商应用实践
- 收益总结
- 未来展望
京东物流实时风控实践
周文跃｜运营数据产品部-风控数据产品组架构师
京东物流风控涉及到的业务介绍（包括招投标、商家、仓、分拣、运输、配送），风控场景概括，每个业务类型中关系到的风险场景介绍，招投标涉及的围标串标、商家中的虚假商家、分拣中偷重漏重等等，本次分享包含京东对实时风控的整体思考、技术方案以及目前的实践应用情况。
- 京东物流业务介绍
- 物流风控场景概括
- 物流风控平台建设
- Flink 赋能，实时技术赋能前后对比
- 技术挑战，平台建设所遇到的一些挑战以及如何解决
- 未来规划
Flink CEP 新特性进展与在实时风控场景的落地
耿 飙｜阿里云开发工程师，Flink Contributor
胡俊涛｜阿里云开发工程师，Flink Contributor
Flink CEP 是基于 Flink 实现的复杂事件处理库，它可以识别出数据流中符合特定模式(Pattern)的事件序列，并允许用户作出针对性处理。依托于 Flink 的分布式特性、毫秒级处理延迟以及自身丰富的规则表达能力，Flink CEP 在实时风控、实时营销场景中扮演着越来越重要的角色。
本次分享我们会介绍 Flink 社区在 1.16 中对 Flink CEP 所做的增强与优化。
除此之外，我们还会介绍阿里云实时计算团队为了进一步提高 Flink CEP 的泛用性与易用性所做的工作，包括：
- 支持规则热更新、支持多规则在同一数据流上进行匹配等新特性；
- 拓展了 Flink SQL 的 MATCH_RECOGNIZE 语法，进一步增强 MATCH_RECOGNIZE 表达能力。
展示中，我们会针对实时反作弊场景，通过一个 Demo 来展示如何使用 Flink CEP 来构建实时反作弊应用，并在作业运行的过程中，动态热更新反作弊规则。
AirWallex 基于 Flink 打造实时风控系统
董大凡｜AirWallex 风控团队研发经理
作为一家金融科技公司，Airwallex提供跨境支付，跨境收账的诸多跨境金融服务。为了应对交易过程中面对的洗钱，诈骗等金融风险， Airwallex的风控团队决定全面拥抱Flink，借助Flink的流批一体能力，打造AirWallex的实时风控系统。 本次分享主要介绍我们如何基于Flink构建高可用低延时的风控服务
- 公司业务背景介绍
- 风险及应对方案
- 技术挑战与亮点
- 高可用性保证
- 线上表现
实时湖仓
实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。
Flink + Hologres：构建企业级 Streaming Warehouse 实时数仓
姜伟华｜阿里云一站式实时数仓 Hologres 总负责人
随着实时数仓的普及，在线化、一站式、敏捷化成为实时数仓新的发展趋势，阿里云 Hologres 支持高吞吐写入与更新、PB 级数据秒级查询以及高并发的在线服务查询，并与 Flink 深度融合，解决传统数仓加工链路长、数据更新难等问题，提供一站式实时数仓标准解决方案。
通过 Flink Catalog、Hologres binlog 等的深度整合，Flink+Hologres 为用户提供了完整的企业级实时数仓 Streaming Warehouse 构建能力，让用户把实时数仓变的易用好用。
本次演讲内容主要包含：
- 实时数仓分层的技术需求
- 阿里云一站式实时数仓Hologres介绍
- Flink x Hologres：天作之合
- 基于Flink Catalog的Streaming Warehouse实践
快手基于 Apache Flink 的实时数仓建设实践
冯立｜快手实时数据开发工程师
羊艺超｜快手实时数据开发工程师
本次演讲围绕快手在实时数仓方面的探索与实践展开，主要涉及：实时数仓建设的方法论，降本增效背景下资源优化的方法论，以及实时数仓的场景化实战。
- 快手实时数仓的发展
- 实时数仓建设方法论
- 实时数仓场景化实战
- 未来规划
B 站实时数据湖实践
周晖栋｜bilibili 大数据实时团队 资深开发工程师
本次演讲分享将包括：
- 背景和痛点
- 探索：DB 入仓，埋点入仓，BI 实时报表场景
- 基建优化
- 总结展望
美团买菜基于 Flink 的实时数据建设实践
严书｜美团买菜实时数仓技术负责人
美团买菜属于美团全链条自营的生鲜零售业务，Flink 在实时数据分析、业务生产实时监控、实时特征等场景下有着广泛的应用，本次分享主要介绍美团买菜基于 Flink 的实时数据建设实践经验。
SmartNews 基于 Flink 的 Iceberg 实时数据湖实践
戢清雨｜SmatNews 数据平台架构师， Apache Iceberg Contributor
本次演讲分享将包括：
- SmartNews 数据湖介绍
- 基于 Iceberg v1 格式的数据湖实践
- 基于 Flink 实时更新的数据湖（Iceberg v2 format）解决方案
- Flink 实时更新带来的小文件数量性能问题
- 性能评估
- 总结
Flink Table Store 0.3 构建流式数仓最佳实践
李劲松｜阿里巴巴高级技术专家，Apache Flink PMC
本次演讲分享将包括：
- 流式数仓核心需求
- Flink Table Store 最佳实践
- Flink Table Store 0.3 核心能力
Apache Flink X Apache Doris：构建极速易用的实时数仓架构
王磊｜SelectDB 资深大数据研发专家、Apache Doris Contributor
作为一个现代化、高性能、支持实时的 OLAP 数据库，目前 Apache Doris 与 Apache Flink 结合构建的实时数仓架构已经得到众多用户的应用。与此同时，如何进一步简化数据同步链路、提升数据实时性以及高并发写入性能，也是 Apache Doris 在持续优化和迭代的重要方向。 在本次分享中，我们将为大家介绍如何基于 Apache Doris 和 Apache Flink 构建极速易用的实时数仓架构。
美团增量数仓建设新进展
汤楚熙｜美团数据系统研发工程师
数据生产一直以来存在离线与实时两套流程，口径不统一，维护成本高，数据生产就绪时间将会越来越难保证，伴随着实时数仓的 SQL 化和实时数仓平台的推广，一些业务团队实时与离线开发开始集中到同一批人身上，开发方式也逐渐趋同，离线与实时流程统一具备了实现的要求，基于美团长期以来的能力储备，我们适时的提出增量生产，以解决离线数仓就绪时间难保证、离线+实时两套生产流程所带来的数据正确性、开发成本等问题。
OceanBase+Flink：构建高效的实时计算解决方案
周跃跃｜OceanBase 架构师
本次演讲分享将包括：
- 分布式数据库 OceanBase 关键技术解读
- OceanBase 与 Flink 生态对接以及典型应用场景
- OceanBase X Flink 生产实践
- 展望
Flink + StarRocks：实时数据分析新范式
谢寅｜StarRocks 社区技术布道师
本次分享围绕以下五个方面：
- StarRocks 极速分析核心能力
- 基于 Primary Key 模型实现有更新的实时数据分析
- Flink + StarRocks Primary Key 带来了数据分析性能怎样的改变
- 京东物流的实践案例
- StarRocks 未来实时数仓新范式
数据集成
云原生为数据集成领域注入了全新生命力，本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。
基于 Flink CDC 高效构建现代数据栈
徐榜江｜阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer
阮 航｜阿里云高级开发工程师，Apache Flink Contributor & Flink CDC Maintainer
本次演讲分享将包括：
- 深入解读 Flink CDC 2.3
- 基于 Flink CDC 构建现代数据栈
- 基于 Flink CDC 的现代数据栈实践
- Demo
Flink 的数据集成类服务在小红书降本增效的实践与应用
袁奎｜小红书高级开发工程师
小红书作为在多云架构云原生场景中的头部公司，其存在数据分布在不同云上的问题，所以基于 Flink 数据集成和传输是大数据处理和分析业务侧的基石。在降本增效的业界大环境下，不断苛刻的成本要求，对目前基于 Flink 的数据集成传输提出了更高的要求，我们在这个背景下做了两个维度的优化措施和方案。
本次演讲分享将包括：
- 小红书基于 Flink 的数据集成传输类服务的特点和挑战；
- Flink 批模式和虚拟集群部署的实践；
- 实践过程中遇到的问题以及解决方案；
- 未来展望
基于 Flink 的小米数据集成实践
胡焕｜小米计算平台高级工程师
本次演讲中，我们将介绍小米在数据集成领域的思考和实践，以及正在打造的基于 Flink 的数据集成引擎。生产实践环节中，我们将展示部分小米数据集成的实战案例。
本次演讲分享将包括：
- MySQL 实时数据集成支持分库分表中间件
- TiDB 百亿级单表实时集成到 Iceberg
- Doris 写入支持分区覆盖语义
- 非结构化数据集成
- 数据集成产品设计
基于 Flink CDC 的实时同步系统
张军｜科杰科技大数据架构师，Apache Flink、Iceberg、StreamPark Contributor
Flink CDC 技术为数据的实时同步提供了稳定、可靠的保证，但是还是存在一些不足，比如无法支持整库同步，无法支持 ddl 同步等，所以我们基于 Flink cdc 开发了一套实时同步系统，使用户通过可视化页面就能进行数据的同步，并且还对数据同步的功能做了增强，添加了很多额外的功能。
本次演讲分享将包括：
- 功能概览：可视化操作、库同步、多表同步、DDL 支持、多数据源支持、丰富的数据类型支持、其他功能支持
- 技术方案
- 未来规划
Flink CDC 在易车的应用实践
王林红｜易车数据平台负责人
Flink 在易车实时数仓、实时数据集成、湖仓一体等方面有很广泛的应用实践，尤其是满足实时大屏、实时流量分析及实时大促等应用场景。本次分享主要介绍 Flink CDC 在易车相关应用的落地实践及经验分享：
- Flink CDC 全增量一体化框架介绍及基于 Flink CDC 的 DTS 平台建设实践
- Flink CDC 实践问题与优化
- Flink CDC+hudi 集成及实时数据湖应用实践
Flink CDC 在京东的探索与实践
韩飞｜京东资深技术专家，Apache Flink Contributor
演讲内容大纲：
- 京东自研 CDC 介绍(业务规模、部署容灾、技术架构、技术特性)
- 京东场景的 Flink CDC 优化(指定位点、自动切库、监控告警扩展、多实例)
- 业务案例(业务背景、数据架构演进)
- 未来规划
顺丰基于 Flink CDC + Hudi 推进实时业务落地
唐尚文｜顺丰科技 大数据平台研发高级工程师
主要分享顺丰基于 Flink 实时计算应用的场景, 实时数据平台的建设实践、以及我们在这个过程中对 Flink CDC 实践经验与 Hudi Schema Evolution 等一些相关的工作内容。
Flink CDC & MongoDB 联合实时数仓的探索实践
孙家宝｜XTransfer 基础架构团队 技术专家
本次演讲将分享 Flink & MongoDB 构建实时数仓的一些探索，以及 MongoDB CDC Connector 和 MongoDB Connector 的实现原理和使用实践。
以上为 Flink Forward Asia 2022 实时风控 & 实时湖仓 & 数据集成专场内容节选，了解更多大会详情可点击下方链接：
移动端建议观看 ApacheFlink 视频号预约观看:
活动推荐
阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动：
99 元试用 实时计算Flink版（包年包月、10CU）即有机会获得 Flink 独家定制卫衣；另包 3 个月及以上还有 85 折优惠！
了解活动详情：https://www.aliyun.com/product/bigdata/sc
