Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”冯斐 美团数据平台计算引擎工程师

Flink Forward Asia 生产实践专场 “快手Flink的稳定性和功能性扩展”刘建刚 快手技术专家

关注我，学习更多简单易懂的编程实战案例。进主页获取更多编程/就业/副业/创业/资源。

实时数仓workshop北京站"阿里云实时计算Flink版产品介绍与演示"乐泽阿里云高级产品专家

实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"徐闻春阿里巴巴技术专家

阿里云数创先锋大数据实战营专场（第二场）

阿里云数创先锋大数据实战营专场（第一场）

云原生为数据集成领域注入了全新生命力，本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江｜阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航｜阿里云高级开发工程师，Apache Flink Contributor & Flink CDC Maintainer袁奎｜小红书高级开发工程师胡焕｜小米计算平台高级工程师张军｜科杰科技大数据架构师，Apache Flink、Iceberg、StreamPark Contributor

流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例，详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介祝海峰｜阿里巴巴高级技术专家孙金城｜字节跳动火山引擎LAS计算方向负责人，Apache Flink PMC，Apache IoTDB PMC，Apache Shenyu PMC，ASF Member罗宇侠｜阿里云 开发工程师方盛凯｜阿里云 开发工程师李明昆｜Shopee 高级研发工程师，Flink Remote Shuffle Contributor

平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介周凯波｜阿里云高级技术专家，Apache Flink Contributor李志刚｜蚂蚁集团 高级技术专家、蚂蚁集团流计算平台负责人李恒｜爱奇艺资深研发工程师贾承昆｜知乎大数据架构负责人亓文凯｜开源 Dinky Maintainer

快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介欧锐｜满帮实时计算团队负责人张剑｜米哈游大数据实时计算团队负责人林志浩｜蔚来自动驾驶 ado 部门资深软件开发工程师周磊｜集度汽车数据部门实时方向负责人 & Apache Flink Contributor顾云｜集度汽车数据开发专家张庭｜阿里巴巴菜鸟网络高级数据研发工程师

由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践，回归技术本质，打造全方位技术盛宴。讲师/嘉宾简介梅源｜阿里云 Flink 存储引擎团队的负责人，Apache Flink 引擎架构师，Apache Flink PMC & Committer宋辛童｜阿里云高级技术专家，Apache Flink PMC Member & Committer朱翥｜阿里云高级技术专家，Apache Flink PMC & Committer曹帝胄｜字节跳动基础架构工程师付典｜阿里云高级技术专家，Apache Flink PMC & Committer

Apache Flink Meetup 北京站主题：Flink 1.16 Preview： Hive SQL 如何平迁到 Flink SQL 讲师：伍翀 阿里巴巴高级技术专家

9月23日，实时数仓Workshop · 北京站将聚焦Flink&Hologres实时数仓在数据链路中扮演的角色与在智能商业中的重要价值，由业内各界的实时数仓实践者一同探讨实时计算未来趋势、开源生态发展、实时数仓场景在各行业中的实践与应用及平台智能化的探索与思考。讲师/嘉宾简介1、刘一鸣，阿里云高级产品专家2、汪宇，阿里巴巴淘菜菜事业部数据技术专家3、康凯，阿里巴巴技术专家4、乐洋 阿里云高级产品专家5、朱杰 Elastic 资深解决方案架构师 赵弘扬 阿里云高级产品专家

介绍如何通过湖仓一体，打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖，以及 Hologres、MySQL 等数据平台，并通过 DataWorks 做统一数据开发和治理。讲师/嘉宾简介孟硕 阿里云智能 产品专家

本场公开课会介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展，包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读，以及围绕降本增效的成本治理最佳实践。讲师/嘉宾简介唐晨 阿里云智能 产品专家

阿里云DataWorks自研建模产品-智能数据建模产品核心能力及收费模式简介。讲师/嘉宾简介闫建丽 阿里云智能 产品专家

本期课介绍如何使用DDI和MLflow搭建机器学习生命周期管理平台，实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。讲师/嘉宾简介李锦桂--阿里云开源大数据平台开发工程师

公开课第五讲：介绍 Lakehouse 搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及 vectorized execution 达到优越的处理性能。加入技术交流群下期预告《如何快速搭建流批一体数据仓库》讲师/嘉宾简介：李洁杏 Databricks 资深软件工程师

随着国内传统企业的数字化转型，非结构化数据的规模和占比增长迅速，其中日志数据获取和加工能力也越来越受到关注。本次由阿里云Elasticsearch团队负责人，给大家聊一聊阿里云Elasticsearch围绕泛日志场景在产品和内核层面做了哪些努力，又为开发者社区提供了哪些回馈。讲师/嘉宾简介邓万禧 阿里巴巴资深技术专家阿里巴巴智能引擎事业部云服务，搜索与分析团队负责人

开源大数据生态专场，来自 Pravega、Pulsar、TiDB、Zeppelin 等社区的技术专家围绕 Flink 的生态融合，探讨当下大数据的发展趋势与未来动向，并展现相关技术在一线生产场景的最佳实践。讲师/嘉宾简介1.《Mars on Flink：实时数据流上的 Pandas》付典 - 阿里巴巴高级技术专家，Apache Flink PMC2.《蚂蚁实时计算 Flink on OceanBase》陶然 - 阿里巴巴高级开发工程师，Apache Spark/Apache Flink Contributor周跃跃 - 蚂蚁集团 OceanBase 架构师3.《双剑合璧：Flink + StarRocks 构建实时数仓解决方案》谢寅 - StarRocks 解决方案架构师4.《使用 Apache Atlas 追踪 Apache Flink 的实时数据仓库血缘》刘岩 - Cloudera 解决方案工程师，Apache Hive/Apache Flink Contributor

平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《Flink 在移动云实时计算的实践》谢磊 - 移动软件开发工程师2.《Apache Flink 在翼支付的实践应用》曹劼 - 翼支付高级大数据工程师尹春光 - 翼支付高级大数据工程师3.《蚂蚁金服实时计算引擎建设》闵文俊 - 阿里巴巴技术专家，Apache Flink Contributor4.《网易云音乐实时场景应用及优化实践》赵荣生 - 网易云音乐资深平台工程师，Apache Spark/Pulsar Contributor

核心技术专场，由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink 新一代流计算和容错 - 阶段总结和展望》梅源 - 阿里巴巴开源大数据架构师，Apache Flink 引擎架构师，Apache Flink Committer2.《Improvements of Job Scheduler and Query Execution on Flink OLAP》方勇 - 字节跳动基础架构工程师3.《面向流批一体的 Flink Runtime 新进展》高赟 - 阿里巴巴技术专家，Apache Flink Committer4.《Trisk：在 Flink 上实现以 task 为中心的流处理动态 reconfiguration 的 control plane》毛言粲 - 新加坡国立大学

介绍如何通过MaxCompute进行海量人群的标签加工，通过Hologres进行分析建模，从而支持大规模人群复杂圈选场景下的交互式体验，以及基于API的数据服务最佳实践。讲师简介刘一鸣 阿里云智能 高级产品专家

如何利用云上分布式 Python 加速数据科学。如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈，同时又受限于平台的计算性能无法处理，本次直播介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一，就会用 MaxCompute 分布式 Python 的能力。讲师简介孟硕 阿里云智能 产品专家

本次直播将介绍MaxCompute支持的三款开源ETL工具Kettle、Airflow、Azkaban以及连接示例。讲师简介龙青云 阿里云智能 技术支持经理

本次直播将介绍SaaS模式云数据仓库MaxCompute的产品整体生态，包括外部BI分析工具、数据库管理工具、ETL工具以及MaxCompute自身开放生态、阿里云产品解决方案生态和数据应用生态。重点会介绍MaxComput支持的QuickBI、Tableau、FineBI、FineReport、Yonghong Desktop、商业BI分析工具，同时进行部分连接示例演示。讲师简介木弈 阿里云智能 产品经理

对象存储服务OSS是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。Hologres通过与OSS打通，支持通过创建外部表的方式，无需导入导出就能直接加速查询OSS的数据。本次主要介绍Hologres加速查询OSS原理，以及如何建外表加速查询OSS不同的文件格式（CSV、ORC等）讲师简介张露(雪胤)，阿里巴巴技术专家，长期从事Hologres引擎开发工作

DataWorks数据集成作为大数据平台上下云的核心枢纽，能提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力，繁杂业务背景下的数据同步解决方案。本次课程主要介绍如何通过DataWorks数据集成将多种数据源数据离线写入至Hologres，并以MySQL为例，端到端Demo实战讲师简介胡一博（上唐），阿里巴巴技术专家， 长期从事Hologres数据集成生态开发工作。

本次主要介绍Datahub写入Hologres原理，并实操演示数据从DTS到Datahub再写入Hologres的最佳实践讲师简介胡一博（上唐），阿里巴巴技术专家， 长期从事Hologres数据集成生态开发工作。

本次主要介绍Hologres支持的可视化分析工具生态，并通过实操演示如何将Hologres数据直接对接BI工具，满足企业级可视化展示要求讲师简介丁烨(昆吾)，阿里巴巴产品专家，Hologres产品经理

本次主要介绍在Hologres如何使用数据脱敏，以及如何通过数据保护伞实现企业级安全管控讲师花名简介杨源秦(渝香)，阿里巴巴技术专家，长期从事Hologres引擎开发工作

主要介绍如何快速使用Hologres，从开通实例到连接开发工具以及简单开发操作，能对Hologres的表结构、索引设计有初步认识，了解Hologres开发基本知识体系。讲师介绍余骏（清芬）阿里巴巴技术专家多年分布式系统经历对系统调优有丰富的经验

问题与互动页面（戳我进入）7月10日，Apache Flink x TiDB Meetup 北京站来啦！本场 Meetup 将由 Flink 社区与 TiDB 社区合办。一如既往，我们邀请了各行业的技术大牛，来自阿里巴巴、TiDB、360、知乎、网易的 5 位技术专家将围绕 Flink 和 TiDB，分享如何实现准确稳定的实时计算业务、如何搭建实时数仓数据链路的最佳实践、如何利用两者的特点完成端对端实时计算的闭环交付，以及 Flink SQL 和 Flink-CDC 架构的感悟与实践等。活动亮点超多实用干货，超多实用干货，Flink + TiDB 的结合能擦出怎样的火花，且看各位技术专家聚焦实时数据业务支撑、实时数仓、端到端实时计算等场景，用理论结合实践解析 Flink + TiDB 在各场景的应用。活动形式多样化，线下线上同步开启，同城可参与线下 Meetup 面对面交流，异地也可在线观看直播，精彩内容不错过；丰富周边等你拿，报名参加就有机会获得超多 Flink 社区定制的精美周边！Meetup 技术交流群：活动议程合作伙伴

EMR on ACK是企业级半托管的开源大数据平台，为阿里云E-MapReduce(EMR)提供了一个部署选项，允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。 目前支持Spark引擎的部署，结合自研的Remote shuffle service服务组件，提供用户高稳定、高性价比、灵活的弹性计算服务。本次直播重点展开了该产品介绍和使用演示。讲师介绍石磊（砳岩），阿里云技术专家

Databricks数据洞察是企业级全托管的Spark高性能大数据分析平台，来自Apache Spark创始公司Databricks。引擎采用Databricks Runtime，性能与社区版相比，最高可达50倍提升，高效而稳定。本次直播将重点展开介绍该产品，并针对代表性案例进行分析。讲师介绍韩宗泽（棕泽），阿里云技术专家，计算平台事业部开放平台-生态企业团队负责人

【第二课直播主题】1、如何将 HDFS 数据归档到 OSS2、如何将 Hive 数据按分区归档到 OSS【背景】为了让更多开发者了解并使用 JindoFS，由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16：00准时开讲！从五大板块入手，玩转数据湖！讲师介绍辰石 - 阿里巴巴计算平台事业部 EMR 技术专家健身 - 阿里巴巴计算平台事业部 EMR 技术专家

本节主要介绍开通EMR的环境准备、账号准备、付费情况、实操演示讲师：魏巍，花名念民，阿里巴巴 EMR 产品经理

本节主要介绍EMR产品历史、选择理由、产品形态介绍开营介绍：夏俊鸾，花名亦龙，阿里云智能资深技术专家讲师：王晓平，花名子关，阿里巴巴 EMR 产品专家

Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案，它采用PMem 作为Shuffle的存储介质，利用PMDK 用户态编程库进行数据读写，减小用户态、内核态切换与文件系统开销；用基于RDMA网络协议异构的传输层实现高性能数据传输；还将RDMA直接注册在PMem上，减少内存拷贝。本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。讲师介绍：张建，英特尔亚太研发有限公司大数据部门的软件工程经理，专注于大数据和机器学习中存储方案优化

搜索业务指标提升遇到瓶颈，搜不准，点击差？索引和查询性能令人苦恼，查询延迟太糟糕？搜索系统运维工作占用时间比做业务还长？智能化、个性化等特性如何融合到搜索业务？阿里巴巴如何高效支持上千个搜索业务快速迭代，支撑双十一上百万QPS？从阿里巴巴搜索业务中台到面向行业的智能搜索，阿里巴巴搜索行业专家分享开放搜索在电商/内容等行业的搜索能力建设以及在行业智能化搜索领域的实践。讲师：唐辉天(瑜晗) - 阿里巴巴搜索推荐事业部高级技术专家直播简介：1、阿里巴巴搜索中台业务概述2、如何快速搭建智能化搜索系统，以及如何解决关键业务问题3、电商、内容等行业的智能搜索业务典型案例分享

时间：2020年9月2日 19：00-20：00讲师简介：黄博远，阿里云机器学习平台PAI产品负责人。十二年大数据与AI领域技术经验，十年技术管理经验，先后供职于微软、阿里巴巴集团，从是展示广告、搜索广告、电商广告、搜索、云计算等相关领域的技术工作。现任阿里云智能飞天AI平台（PAI）产品负责人、一站式大数据智能研发与治理平台DataWorks产品负责人。主题简介：AI是什么？AI赋予了很多商业业务宝贵的价值，我们日常用的搜索引擎就是应用AI的最大受益者；在电商领域，AI可以做推荐；在金融领域，AI可以做风控等等。对于很多新人来说，AI到底是什么？它似乎涵盖许多很高深的技术，学习AI需要学很多东西，想要抓住AI的风口，学AI甚至想玩转AI，有机会吗？阿里云机器学习平台技术专家给的答案是肯定的。首先，AI（人工智能）是什么呢？AI的本源是一门研究如何用机器来模拟人的智能的技术，让有以下能力：听——语音识别方面看——文字识别、图像识别等方面说——语音合成、人机对话等方面思考——推导数学公式、人机对弈等方面学习以及行动——自动驾驶等整个人工智能技术基本上围绕这些领域展开和迭代。其次，人人都能玩转AI吗？答案也是肯定的。学习AI需要解决算力、算法和数据的问题，加上真实场景来磨练。互联网尤其是移动互联网和换联网的迅猛发展辅助解决海量高质数据的问题；云计算和异构计算的发展辅助解决计算力的问题。而科技发展让整个生产率不断提高的同时不断地降低学习或使用技术的门槛。如同50多年以前，开车是一项非常重要或特殊的技能，司机备受大众敬仰，而今还会有很多人认为会开车的身份很特殊吗？可能不会了，反而是不会开车的人会让人觉得其身份特殊。AI其实也一样，它背后没有什么特别神秘的技术，技术的发展也使其使用和学习门槛在不断地降低。想深入了解AI源于何方、能够解决的典型问题？探讨AI是否能够替代或控制人类的话题？想知道如何像开车、用电脑、用智能手机一样掌握AI的技术？阿里云机器学习平台大神来给你降维讲解，带你了解AI历史，体验AI能力，并为你带来了《阿里云机器学习PAI-DSW入门指南》电子书的发布，带你进入人人都能玩儿AI的时代。教你如何轻松上手并告别纸上谈兵！

本次直播将介绍云数据仓库基本概念和特性，商业智能典型场景与趋势，并结合基于MaxCompute为云数据仓库，对接BI工具的优势和特点来阐述云数据仓库+BI如何更好的释放数据潜力。分享人：韦海青 阿里云智能 高级产品经理

讲师介绍：王太泽第四范式特征工程数据库负责人曾在百度担任资深研发工程师一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。议题简介为什么要优化spark时间窗口未加速前面临问题为什么要使用llvm加速而不是继续优化jvm codegen实现介绍-llvm 版本sql引擎设计如何与spark集成benchmark数据 vs spark3.0

阿里云Elasticsearch兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于全文搜索、日志分析、运维监控、安全分析等场景服务。在开源Elasticsearch的基础上提供了企业级权限管控、安全监控告警、自动报表生成等功能，并具备高可用性、高可靠性、高安全性等功能特性。本次分享主要介绍阿里云Elasticsearch在支撑PB级以上数据量的背后所做的内核优化实践，与Elasticsearch爱好者们共同探讨交流，推动技术发展。讲师：慕少琼（广富）阿里巴巴Elasticsearch云服务平台高级开发工程师，Elastic认证工程师，有丰富的Elasticsearch使用、运维和内核优化经验。直播期间，点击链接参与调研，将随机抽取20个名额，赠送ES技术大牛阮一鸣老师全套Elasticsearch 课程（价值129元）戳我了解详情

分享人：王亚宁 阿里云智能 产品经理本次直播将从个性化推荐的应用价值着眼，为您介绍智能推荐产品的核心能力和优势，并通过案例呈现为业务带来的实际价值。

分享人：李姗姗 阿里云智能 高级产品经理本次直播的主要内容将介绍从Lambda架构到HSAP实时数仓，以及Hologres产品架构、典型场景和客户案例。

分享人：高旸 阿里云智能 高级产品专家本次直播为您带来流批一体引擎实时计算Ververica Platform全托管服务的介绍，以及基于Ververica Platform的实时ETL、实时机器学习、实时数仓等主要场景的介绍和部分Demo。

庞大的小文件和冷文件数量会对HDFS的性能产生不利影响，严重时甚至影响业务稳定性，这个主题将介绍对大容量HDFS进行小文件和冷文件分析的方法，并基于分析结果可以采取哪些处理措施。讲师：郭聪，花名析源，阿里云计算平台事业部技术专家。目前主要从事大数据领域APM产品的研发工作。

本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。讲师介绍孙大鹏，花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。