开源大数据平台 E-MapReduce

云原生趋势下，开源大数据处于重构之中，以 Hadoop 为核心的开源大数据体系，从 2015 年开始转变为多元化技术并行发展。阿里云EMR作为开源大数据领域的引领者，迎来重磅升级，从平台体验、数据开发、服务形态、分析场景实现全面创新。通过云原生能力重构平台层、数据层、计算层，满足数千客户流处理、数据可视化、交互式分析、数据湖等多场景需求，为客户构建新一代开源大数据基础设施！讲师/嘉宾简介荆杭-阿里云高级产品专家，EMR产品负责人绝顶-阿里云资深技术专家，EMR平台技术团队负责人无谓-阿里云资深技术专家，数据湖构建与分析负责人铁杰 - 阿里云高级技术专家，数据湖存储负责人辰繁 - 阿里云高级技术专家，开源大数据OLAP&生态负责人

EMR on ACK是企业级半托管的开源大数据平台，为阿里云E-MapReduce(EMR)提供了一个部署选项，允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。 目前支持Spark引擎的部署，结合自研的Remote shuffle service服务组件，提供用户高稳定、高性价比、灵活的弹性计算服务。本次直播重点展开了该产品介绍和使用演示。讲师介绍石磊（砳岩），阿里云技术专家

10月14日14:00-17:30，Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup，本次 Meetup 邀请到阿里云、网易数帆、Cisco、丁香园、Shopee 等技术大咖深入探讨交流基于 Apache Kyuubi & Celeborn 的技术实践，助力 Spark 拥抱云原生！讲师/嘉宾简介周克勇(一锤)：阿里云 EMR Spark 引擎负责人，Apache Celeborn (Incubating) 的发起人潘成：网易数帆大数据技术专家，Apache Kyuubi PMC Member，Apache Celeborn (Incubating) PPMC Member朱夷(AngersZhuuuu)：Shopee 技术专家, Spark PIC。 Apache Celeborn(Incubating) PPMC/Apache Spark active Contributor/ Apache HDFS/YARN contributorHe Zhao：Data Engineer at CiscoPengqi Li：Data Engineer at Cisco陈福：Apache Kyuubi PMC Member / Apache Celeborn (Incubating) Committer / 丁香园大数据基础平台负责人

本次课程将介绍网约车模拟数据从产生、发布到流数据服务confluent,通过Databricks Structured Streaming 进行实时数据处理，存储到LakeHouse,并使用spark和spark sql进行分析的应用实践。讲师/嘉宾简介李锦桂-阿里云开源大数据平台开发工程师

主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。讲师介绍：纪琨尚，英特尔亚太研发有限公司大数据部门的软件工程师，专注于Spark计算框架上基于Optane PMEM的优化叶宇强，英特尔亚太研发有限公司大数据部门的资深软件工程师，专注于Spark计算框架上基于Optane PMEM的优化

由阿里巴巴 EMR 团队提交的 TPC-DS 成绩在九月份的榜单中取得了排名第一的成绩。这个成绩背后离不开 EMR 团队对 Spark 执行引擎持续不断的优化。本次分享将选取一些有代表性的优化点，深入到技术细节做详细介绍，包括但不限于动态过滤、CBO增强、TopK排序等等。嘉宾介绍辛庸，阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop，Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。

洞悉 Spark 任务调度新能力｜Apache Spark + DolphinScheduler Meetup特邀 - 阿里云 EMR 数据开发平台团队负责人孙一凡、BIGO 大数据研发工程师许名勇、阿里云 EMR Spark 引擎负责人周克勇 ，通过他们的分享让用户能更快更好更便捷的使用 Apahce Spark + Apahce DolphinScheduler 。讲师/嘉宾简介孙一凡（Evans 忆梵） 阿里云 EMR 数据开发平台团队负责人周克勇（一锤） 阿里云 EMR Spark 引擎负责人许名勇 BIGO 大数据研发工程师

【第二课直播主题】1、如何将 HDFS 数据归档到 OSS2、如何将 Hive 数据按分区归档到 OSS【背景】为了让更多开发者了解并使用 JindoFS，由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16：00准时开讲！从五大板块入手，玩转数据湖！讲师介绍辰石 - 阿里巴巴计算平台事业部 EMR 技术专家健身 - 阿里巴巴计算平台事业部 EMR 技术专家

大量实验结果表明深度学习能更好地帮助商家为用户个性化推荐感兴趣的商品。Office Depot将Analytics Zoo工具包引入到他们的推荐系统中，在Spark集群上分布式训练了各种推荐算法模型，实验结果相比于传统的推荐算法有了十分显著的提升，本次分享主要介绍Office Depot使用Analytics Zoo构建智能推荐系统的实践经验。有兴趣的同学，可以提前关注此开源项目：https://github.com/intel-analytics/analytics-zoo讲师介绍讲师：黄凯Intel数据分析团队软件工程师。负责开发基于Apache Spark的深度学习框架，同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是Analytics Zoo和BigDL的核心贡献者之一。

Job Committer是Mapreduce/Spark等分布式计算框架的重要组成部分，为分布式任务的写入提供一致性的保证，本次分享主要介绍Job Committer的演进历史，以及社区和EMR在S3/OSS等云存储上的最新进展。讲师介绍李呈祥，花名司麟 ，阿里云智能EMR团队高级技术专家，Apache Hive Committer， Apache Flink Committer，目前主要专注于EMR产品中开源计算引擎的优化工作。

本期课介绍如何使用DDI和MLflow搭建机器学习生命周期管理平台，实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。讲师/嘉宾简介李锦桂--阿里云开源大数据平台开发工程师

【第7/8讲 直播主题】1、Flink 高效 sink 写入 OSS2、Flume 高效写入 OSS【背景】为了让更多开发者了解并使用 JindoFS，由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16：00准时开讲！从五大板块入手，玩转数据湖！讲师介绍重湖 - 阿里巴巴计算平台事业部 EMR 高级工程师焱冰 - 阿里巴巴计算平台事业部 EMR 技术专家

本节主要内容有 EMR 核心组件简介和使用、常用引擎使用示例、数据开发等讲师：孙大鹏，花名诚历，阿里巴巴 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。讲师介绍孙大鹏，花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

本次分享会介绍实时数仓的思路以及一些实践，包括SparkStreaming SQL引擎，以及对Delta/Kudu/Druid/阿里云多种存储组件的深度整合；同时会在这个基础上介绍一些典型案例应用讲师介绍宋军，花名嵩林 阿里云EMR高级技术专家。从事Spark内核优化，对SparkCore/SprakSQL有深入了解，Spark Contributor

此次课程是继上一节“ Spark 大数据处理最佳实践 ” 课后，大数据最佳实践课程的第二课。主要讲一下 flink 流计算的最佳实践。讲师根据自己多年经验总结的方法论，从 flink 学习框架入手，配合一些非常落地的最佳实践，带你有章法的学习 flink ，摆脱技术小白称号！讲师简介简锋 阿里云 EMR 数据开发平台 负责人

本节主要介绍开通EMR的环境准备、账号准备、付费情况、实操演示讲师：魏巍，花名念民，阿里巴巴 EMR 产品经理

数据湖技术在大数据领域炙手可热，随着在云上的广泛部署和应用，其业务价值逐渐获得业界共识。传统的大数据平台如何基于数据湖架构进行平台升级，享受新一轮的技术发展红利？郑老师着重跟大家分享了数据湖架构和应用在存储上面临的主要挑战，以及方案选型和最佳实践。嘉宾简介：郑锴，花名铁杰，阿里巴巴高级技术专家，Apache Hadoop PMC。深耕分布式系统开发和开源大数据多年，目前专注于在阿里云上研发业界领先的 Hadoop/Spark 大数据平台和数据湖解决方案产品。

本次分享主要介绍如何结合Apache SuperSet和EMR Spark，利用EMR Spark提供的JindoCube高级特性在SuperSet进行秒级响应，交互式的可视化数据探索。讲师介绍李呈祥，花名司麟，阿里云智能EMR团队高级技术专家，Apache Hive Committer， Apache Flink Committer，目前主要专注于EMR产品中开源计算引擎的优化工作。

本分享会先介绍传统数据增量同步方案，之后对比新方案（完全基于Spark无需额外组件），介绍新方案如何结合最新的数据湖(delta lake)实现，同时引入spark-binlog，极大的简化了数据增量的门槛和架构。如果时间允许，我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持我们新的数据增量方案的。讲师介绍祝威廉，资深数据架构，11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台，降低AI落地成本相关工作上。

大数据上云是业界普遍共识，存储和计算分离的趋势日益显著，如何为云上蓬勃发展的大数据处理和分析引擎提供坚实的存储基础？这个 session 会主要讨论 EMR 技术团队重磅推出的一种新型混合存储解决方案，该方案基于云平台和云存储，面向新的存储硬件和计算发展趋势，为 EMR 弹性计算量身打造，在成本，弹性和性能上追求极佳平衡。技术上是如何实现的？性能如何？覆盖了哪些典型场景，最佳实践是什么？敬请期待！主讲人殳鑫鑫(辰石)，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。徐铖， Intel大数据团队软件开发经理

Delta Lake作为一个开源项目的演进路径和现状优势，以及怎样帮助在现有存储系统上构建Lakehouse架构。产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群下期预告《深度解析数据湖存储方案Lakehouse架构》讲师/嘉宾简介筱龙阿里云开源大数据平台技术专家

直播介绍：（建议600字以内）E-MapReduce 极客挑战赛线上宣讲会直播内容：1、大咖寄语2、赛事解读讲师简介EMR极客挑战赛官方

Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案，它采用PMem 作为Shuffle的存储介质，利用PMDK 用户态编程库进行数据读写，减小用户态、内核态切换与文件系统开销；用基于RDMA网络协议异构的传输层实现高性能数据传输；还将RDMA直接注册在PMem上，减少内存拷贝。本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。讲师介绍：张建，英特尔亚太研发有限公司大数据部门的软件工程经理，专注于大数据和机器学习中存储方案优化

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo讲师：王太泽 第四范式特征工程数据库负责人 曾在百度担任资深研发工程师 一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

本次直播主要介绍如何利用FUSE的POSIX文件系统接口，像本地磁盘一样轻松使用大数据存储系统, 为云上AI场景提供了高效的数据访问手段。讲师介绍苏昆辉，花名抚月，阿里巴巴计算平台事业部 EMR 高级工程师, Apache HDFS committer. 目前从事开源大数据存储和优化方面的工作。

讲师介绍龚奇源博士，英特尔机器学习专家。从事多年数据隐私和机器学习研究，2017年加入英特尔，目前负责Analytics-Zoo中ClusterServing、Streaming、OpenVINO和推理优化等工作。直播简介：本次分享主要介绍如何利用Analytics Zoo和NIH胸部X光影像数据集，在Apache Spark集群上实现基于深度学习的胸腔疾病分类，为医生提供端到端的胸腔疾病AI诊疗辅助。有兴趣的同学，可以提前关注此开源项目：https://github.com/intel-analytics/analytics-zoo

Python 代表机器学习生态，而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序，后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口，还有没有更高效的一手数据通道，将两个生态对接起来，乃至深度融合？Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴，花名铁杰，阿里巴巴高级技术专家，Apache Hadoop PMC，Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年，目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台；孙大鹏，花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作；

公开课第五讲：介绍 Lakehouse 搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及 vectorized execution 达到优越的处理性能。加入技术交流群下期预告《如何快速搭建流批一体数据仓库》讲师/嘉宾简介：李洁杏 Databricks 资深软件工程师

【第5/6讲直播主题】1、访问 OSS 这类对象存储最快的方式：JindoFS SDK2、Hadoop/Spark 访问 OSS 加速【背景】为了让更多开发者了解并使用 JindoFS，由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16：00准时开讲！从五大板块入手，玩转数据湖！【讲师】诚历 - 阿里巴巴计算平台事业部 EMR 技术专家流影 - 阿里巴巴计算平台事业部 EMR 技术专家

本节主要介绍EMR产品历史、选择理由、产品形态介绍开营介绍：夏俊鸾，花名亦龙，阿里云智能资深技术专家讲师：王晓平，花名子关，阿里巴巴 EMR 产品专家

Apache Zeppelin 是一个交互式的大数据开发Notebook，从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势：不需要编译Jar，环境配置简单，交互式开发，数据结果可视化等等。本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。章剑锋（简锋），开源界老兵，Apache Member，曾就职于 Hortonworks，目前在阿里巴巴计算平台事业部任高级技术专家，并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ，以及 Apache Pig 的 Committer。

Python 代表机器学习生态，而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序，后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口，还有没有更高效的一手数据通道，将两个生态对接起来，乃至深度融合？Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴，花名铁杰，阿里巴巴高级技术专家，Apache Hadoop PMC，Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年，目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台；孙大鹏，花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作；

对于时间序列预测搭建机器学习应用的过程非常繁琐且需要大量经验。为了提供一个简单易用的时间序列预测工具，我们将自动机器学习应用于时间序列预测，将特征生成，模型选择和超参数调优等过程实现自动化。我们的工具基于Ray（UC Berkeley RISELab开源的针对高级AI 应用的分布式框架，并作为Analytics zoo（由intel开源的统一的大数据分析和人工智能平台）的一部分功能提供给用户。嘉宾介绍喻杉，Intel大数据分析团队软件工程师。她目前专注于在analytics-zoo大数据和人工智能平台上开发自动机器学习组件。在加入intel前，她在浙江大学获得了学士和硕士学位。

Tablestore是阿里云自研的云原生结构化大数据存储服务，本议题会详细介绍如何基于Tablestore的CDC技术，将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。最新版本的Connector会随着EMR下个版本的SDK一起开源，场景环节会结合阿里内部的业务介绍用户如何结合Tablestore和Spark来实现实时数据处理。讲师介绍朱晓然 ，Tablestore存储服务技术专家

讲师简介张友东：StarRocks Active Contributor内容简介在线讲解从 shared-nothing 到 shared-data 的湖仓分析新范式如何帮助用户实现“极速统一“的价值。动手实践EMR Serverless StarRocks 免费测试https://developer.aliyun.com/article/1191440

Lakehouse Meetup“Apache Hudi 实时湖仓解决方案”陈玉兆阿里巴巴技术专家Apache Hudi PMCApache Calcite PMC

2022年5月11日14：00，阿里云EMR StarRocks 产品线上发布会重磅开启，精彩不容错过！阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品，致力于构建极速统一分析体验，满足企业用户的多种数据分析场景。讲师/嘉宾简介本次发布会邀请到了来自阿里云、StarRocks、众安保险的产品技术专家，详细介绍 EMR StarRocks 的功能优势、应用场景以及落地实践，揭秘 StarRocks 极速数据湖分析能力背后的技术支撑和未来规划。

EMR on ACK是企业级半托管的开源大数据平台，为阿里云E-MapReduce(EMR)提供了一个部署选项，允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。Yarn on K8S方案帮助您平衡不同集群的资源使用，共享集群间计算资源，充分利用所有节点的计算资源，满足计算资源弹性调度，云上混合部署在线和离线任务的需求。本次直播将重点展开 Yarn on ACK 的弹性介绍。讲师简介霁谦 阿里云开源大数据平台 高级开发工程师

本节主要介绍EMR针对云上大数据的存储解决方案，如何为计算提供灵活高效的存储基础讲师：姚舜扬，花名辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

讲师介绍：陈海锋，英特尔亚太研发有限公司大数据部门的高级软件架构师，开发经理，主要研究和关注基于Hadoop和Spark的大数据框架的分析和优化，Apache社区的长期贡献者。沈祥翔，英特尔亚太研发有限公司大数据部门的高级软件工程师，主要担任OAP项目的开发。分享介绍：简单介绍OAP的总体蓝图。同时详细介绍其中的一个具体优化，使用索引和缓存来解决交互式查询性能挑战。英特尔和社区合作，为Spark SQL实现了索引和数据源缓存，通过为关键查询列创建并存储完整的B +树索引，并使用智能的细粒度数据缓存策略，我们可以极大的提升基于Spark SQL的交互式查询的性能。

本次分享主要介绍数据读写在计算存储分离的场景下所面临的常见问题以及相关的优化手段，并结合应用场景介绍对数据缓存加速的相关技术和策略。讲师介绍姚舜扬，花名辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

Apache Spark是目前最火热的计算框架，而TensorFlow是目前最火热的机器学习框架，当他们2个碰撞到一起的时候，也会产生巨大的能量。本议题会介绍EMR和PAI在这个上面的实践。主讲人吴威（无谓）， 阿里巴巴高级技术专家，2008年加入阿里巴巴集团，先后在B2B和阿里云工作，一直从事大数据和分布式计算相关研究，作为主要开发和运维人员经历了阿里内部大数据集群的上线和发展壮大，现在阿里云EMR团队，负责Spark、Hadoop等计算引擎研发。江宇，阿里云EMR技术专家。从事Hadoop内核开发,目前专注于机器学习、深度学习大数据平台的建设

11 月 5 日，开放原子开源基金会、X-lab 开放实验室、阿里巴巴开源联合发布了《开源大数据热力报告 2022》。该报告收集了2015 年至 2022 年的相关公开数据进行关联分析，研究开源大数据进入“后 Hadoop 时代”的技术趋势，以及开源社区的运作模式对技术走向的助推作用。 本周四，我们将以直播的方式，就《开源大数据热力报告 2022》的结论进行延申，讨论应如何提高开源开发者活跃度，提升开源项目热力。讲师/嘉宾简介赵生宇（X-lab开放实验室核心成员、开源社成员、同济大学计算机在读博士生、OpenDigger开源项目发起人）燕青（Apache Kyuubi PPMC、Apache Spark Committer、Apache Submarine Committer、网易技术专家）、赵恒（StarRocks PMC、StarRocks产品负责人）徐榜江（雪尽）（Flink CDC Maintainer、Apache Flink Committer、阿里云技术专家）、徐昱（StarRocks Active Contributor，Apache Hudi Contributor，华米科技高级大数据工程师 ）

本次课程将介绍如何试用Databricks进行广告效果归因分析，完成一站式的部署机器学习，包括数据ETL、数据校验、模型训练/评测/应用等全流程。讲师/嘉宾简介冯加亮，阿里云开源大数据平台技术工程师

从零售业需求预测痛点、商店商品模型预测的实践演示介绍Databricks如何助力零售商进行需求、库存预测，实现成本把控和营收增长。讲师/嘉宾简介李锦桂--阿里云开源大数据平台开发工程师