实时计算 Flink

2022第四届实时计算Flink挑战赛决赛答辩

Flink Forward 平台建设 “Apache StreamPark 让Flink开发管理更简单”王华杰Apache StreamPark PPMC 社区发起人

Flink Forward 核心技术 “Flink state的优化与remote state的探索”张杨bilibili 资深开发工程师

Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”宋宇航 中信建投证券流计算技术专家王若梦 中信建投证券实时数仓项目负责人

Flink Forward 平台建设“小米基于Flink的实时计算资源治理实践”张蛟 小米高级软件工程师

Flink Forward 平台建设“爱奇艺统一实时计算平台建设”李恒 爱奇艺资深研发工程师

Flink Forward Asia 生产实践专场 “抖音实时数仓保障与治理实践”茅旭辉 字节跳动实时数据研发工程师李建国 字节跳动实时数据研发工程师

Flink Forward Asia 生产实践专场 “How To Write Fast Flink SQL”贺小令 阿里云高级技术专家

实时数仓workshop北京站"阿里云实时计算Flink版产品介绍与演示"乐泽阿里云高级产品专家

实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"徐闻春阿里巴巴技术专家

实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介李劲松｜阿里巴巴高级技术专家，Apache Flink PMC王磊｜SelectDB 资深大数据研发专家、Apache Doris C汤楚熙｜美团数据系统研发工程师周跃跃｜OceanBase 架构师谢寅｜StarRocks 社区技术布道师

实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。讲师/嘉宾简介林佳｜网易互娱技术中心计费实时平台与 SDK 技术负责人，Apache Flink Contributor，Flink CDC Contributor张健｜字节跳动数据工程师周文跃｜运营数据产品部-风控数据产品组架构师耿飙｜阿里云开发工程师，Flink Contributor胡俊涛｜阿里云开发工程师，Flink Contributor董大凡｜AirWallex 风控团队研发经理

由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践，回归技术本质，打造全方位技术盛宴。讲师/嘉宾简介黄兴勃｜阿里云高级开发工程师，Apache Flink Committer，Flink 1.16 Release Manager王雷博｜华为云容器服务架构师、Volcano 社区负责人姜逸坤｜Volcano Reviewer，openEuler Infra Maintainer何润康｜字节跳动基础架构工程师任庆盛｜阿里云开发工程师，Apache Flink Committer罗根｜阿里云技术专家

Apache Flink Meetup 北京站主题：出品人发言讲师：贺小令 阿里巴巴高级技术专家

9月23日，实时数仓Workshop · 北京站将聚焦Flink&Hologres实时数仓在数据链路中扮演的角色与在智能商业中的重要价值，由业内各界的实时数仓实践者一同探讨实时计算未来趋势、开源生态发展、实时数仓场景在各行业中的实践与应用及平台智能化的探索与思考。讲师/嘉宾简介1、刘一鸣，阿里云高级产品专家2、汪宇，阿里巴巴淘菜菜事业部数据技术专家3、康凯，阿里巴巴技术专家4、乐洋 阿里云高级产品专家5、朱杰 Elastic 资深解决方案架构师 赵弘扬 阿里云高级产品专家

数据湖无疑是近几年大数据领域最火热的一个方向，那到底什么是数据湖？数据湖的架构和核心技术有哪些？企业应该如何构建、管理和使用数据湖？阿里云的开源大数据团队在数据湖领域有多年的深耕和实战经验。7月17日，09:00-12:40，DataFun将联合阿里云开源大数据团队举办DataFunTalk技术交流会：阿里云数据湖技术专场，将邀请到来自阿里云数据湖存储、数据湖计算、数据湖构建和管理团队的技术专家给大家做一次从数据湖架构到核心技术到平台构建的全方位介绍与分享。讲师/嘉宾简介陈鑫伟（熙康）- 数据湖概念及架构简介熊佳树（履霜）- 数据湖统一元数据与权限杨庆苇（轻为）- 数据湖管理及优化孙大鹏（诚历）- JindoData新一代数据湖存储加速毕岩（寻径）- 基于DeltaLake构建数据湖仓体系范佚伦(子灼) - 基于Spark的云原生数据湖分析实践陈玉兆（玉兆） - 实时数据湖

【收藏+下载】Flink年度学习资料大礼包！问题收集页面：https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/相关会议：Flink Forward 全球在线会议中文精华版0425Flink Forward 全球在线会议中文精华版0426Flink Forward · 全球首个在线会议中文精华版普惠全球开发者！这一次，格外与众不同。Apache 顶级项目盛会 Flink Forward 在线会议集结欧洲、北美洲、亚洲众多国际大厂资深技术专家跨时区免费在线分享。中文精华版将由 Apache Member 、Flink PMC 及社区投票共同筛选大会精彩 talk，翻译并进行中文解说，让你足不出户尽享优质内容。讲师信息滕昱|戴尔科技集团软件开发总监王峰（莫问）| 阿里云计算平台事业部实时计算与开放平台部门负责人，资深技术专家个人简介：目前带领团队基于Flink、Hadoop以及Kubernetes开源技术体系打造的大数据实时计算平台，不仅服务于阿里集团（淘宝、天猫、聚划算、高德、优酷、飞猪和菜鸟等）所有实时数据业务，同时也通过阿里云为广大中小企业提供全球领先的实时计算产品服务。杨旭（品数）|阿里巴巴云机器学习平台PAI中基础机器学习算法的负责人，资深算法专家个人信息：2004年获南开大学数学博士学位；随后在南开大学信息学院从事博士后研究工作；2006年加入微软亚洲研究院，进行符号计算、大规模矩阵计算及机器学习算法研究；2010年加入阿里巴巴，从事大数据相关的统计和机器学习算法研发。出版《重构大数据统计》，《机器学习在线：解析阿里云机器学习平台》等著作。薛康 | 滴滴技术专家，实时计算负责人。毕业于浙江大学，曾任百度高级研发工程师，对大数据生态建设有丰富经验。于茜 | 微博高级算法工程师个人信息：多年来一直在使用Flink构建实时数据处理和在线机器学习框架。此外，在社交媒体应用推荐系统方面经验丰富，有助于将最佳内容与微博用户匹配。于翔|微博机器学习研发中心-算法架构工程师。个人信息：现负责微博机器学习平台算法系统模块。主要涉及机器学习，深度学习，模型训练，大规模参数服务，模型服务等。目前专注于大规模稀疏在线学习在微博业务场景的应用曹富强|微博机器学习研发中心-系统工程师个人信息：现负责微博机器学习平台数据计算模块，主要涉及实时计算Flink、Storm、SparkStreaming，离线计算Hive、Spark等。目前专注于Flink在微博机器学习场景的应用。章剑锋（简锋）| Apache Software Foundation Member.PMC of Apache Tez, Livy, Zeppelin.Committer of Apache Pig，阿里巴巴 高级技术专家个人信息：开源界老兵，曾就职于Hortonworks，目前在阿里巴巴计算平台事业部任高级技术专家。并同时担任Apache Tez、Livy 、Zeppelin三个开源项目的PMC，以及Apache Pig的Committer。有幸很早就接触了大数据和开源，希望可以在开源领域为大数据和数据科学做点贡献。秦江杰（江杰）| Apache Kafka PMC，Apache Flink Committer，阿里巴巴高级技术专家个人信息：本科毕业于上海交大，硕士毕业于卡耐基梅陇大学，加入阿里巴巴前曾在 IBM，LinkedIn 任职。目前是 Apache Kafka PMC 和 Apache Flink Committer。杨克特（鲁尼）| Apache Member，Apache Flink PMC ，阿里巴巴高级技术专家个人信息：2011年硕士毕业于浙江大学后加入阿里巴巴，先后从事过搜索引擎，调度系统，大数据处理等核心系统的设计与研发，目前负责实时计算 Flink的SQL引擎。孙金城（金竹）| Apache Member，Apache Flink PMC，阿里巴巴高级技术专家个人信息：自2015-以来一直专注于大数据计算领域，并持续贡献于Apache Flink 社区。2011年加入阿里巴巴集团，目前就职于阿里巴巴计算平台事业部。2015年开始投入阿里新一代实时计算平台Blink的研发工作。早期负责搜索事业部的离线大数据处理，以及将搜索离线数据处理的计算迁移到Blink计算平台之上，之后进行Blink计算平台的查询和优化工作。于2019年负责Apache Flink Python API的整体架构开发工作。李钰（绝顶）| HBase PMC，Apache Flink Committer，阿里巴巴实时计算部高级技术专家伍翀（云邪）| Apache Flink PMC&Committer，阿里巴巴技术专家个人信息：北京理工大学硕士毕业，2015 -加入阿里巴巴，参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化，并活跃于 Flink 社区，于2017年初成为Apache Flink Committer，Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算，热爱开源，热爱分享。问题收集页面：https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍申毅杰，StreamNative资深工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍刘力云，贝壳找房 资深工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍韩鹏，奇安信集团高级总监，网络安全技术专家更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍张光辉，字节跳动流式计算技术负责人更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

Apache Flink核心技术专场数据的价值在于数据分析，而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向，并回归技术本质，打造Flink全方位技术盛宴。讲师介绍伍翀，阿里巴巴技术专家李劲松，阿里巴巴技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场

人工智能专场人工智能是未来十年最重要的技术革命与驱动力，在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用，为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍潘国庆，携程大数据研发经理更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践，重点探讨 Flink 的核心技术（如状态管理、容错机制、数据传输、大规模调度和核心算法等）在实际生产环境中面临的挑战，以及如何通过最佳实践来进行扩展和改进。

生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。

生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题，更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。

本次实战营由阿里云 Flink 专家与传智教育高级顾问联合出品，项目依托于传智教育博学谷线上教育平台数字化建设场景，真实还原实时计算业务细节，学完后掌握基于阿里云的 Flink CDC，Paimon，StarRocks 等核心技术，收获完整实时数仓与流式数据湖构建经验。 讲师/嘉宾 赵晨杰-黑马程序员技术专家张敬存-黑马程序员技术专家

Flink Forward 行业实践 “Flink在平安证券的实践”张兴平安证券经纪大数据基础平台负责人

Flink Forward 行业实践 “电商SaaS全渠道实时数据中台最佳实践”应圣楚聚水潭高级ETL工程师张成玉聚水潭大数据开发专家

Flink Forward 行业实践 “菜鸟供应链实时数仓最佳实践”张庭阿里巴巴菜鸟网络高级数据研发工程师

Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”周超小米软件开发工程师

Flink Forward 核心技术 “基于Log的通用增量Checkpoint在美团的进展”王非凡美团数据平台计算引擎工程师

Flink Forward 核心技术 “基于Log的通用增量Checkpoint”俞航翔Apache Flink Contributor

Flink Forward 数据集成“顺丰基于 Flink CDC + Hudi 推进实时业务落地”唐尚文 顺丰科技大数据平台研发工程师

Flink Forward 数据集成“Flink CDC 在京东的探索与实践”韩飞 京东资深技术专家

Flink Forward 实时湖仓“Flink + StarRocks：实时数据分析新范式”谢寅 StartRocket 社区技术布道师

Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”王磊 SelectDB 资深大数据研发专家

Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”李劲松 Flink PMC

Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer

Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”戢清雨 SmartNews 数据平台架构师

Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”羊艺超 快手实时数据开发工程师冯立 快手实时数据开发工程师

Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”姜伟华（果贝） 阿里云Hologres负责人

Flink Forward Asia 生产实践专场 “快手Flink的稳定性和功能性扩展”刘建刚 快手技术专家

云原生为数据集成领域注入了全新生命力，本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江｜阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航｜阿里云高级开发工程师，Apache Flink Contributor & Flink CDC Maintainer袁奎｜小红书高级开发工程师胡焕｜小米计算平台高级工程师张军｜科杰科技大数据架构师，Apache Flink、Iceberg、StreamPark Contributor

流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例，详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介祝海峰｜阿里巴巴高级技术专家孙金城｜字节跳动火山引擎LAS计算方向负责人，Apache Flink PMC，Apache IoTDB PMC，Apache Shenyu PMC，ASF Member罗宇侠｜阿里云 开发工程师方盛凯｜阿里云 开发工程师李明昆｜Shopee 高级研发工程师，Flink Remote Shuffle Contributor