New Developments in the Open Source Ecosystem_ Apache Spark 3.0 and Koalas-李潇

大数据 & AI 发展的新挑战和新机遇-贾扬清

本次直播主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。直播嘉宾刘建伟，阿里云智能 技术支持工程师

EMR-Jindo 是 EMR 推出的云原生 OLAP 引擎。凭借该引擎，EMR 成为第一个云上 TPC-DS 成绩提交者。经过持续不断地内核优化，目前基于最新 EMR-Jindo 引擎的 TPC-DS 成绩又有了大幅提高，达到了3615071，成本降低到 0.76 CNY。本次分享将介绍 EMR-Jindo 引擎背后的相关技术以及以 EMR-Jindo 为核心的云上大数据架构方案。主讲人辛现银(辛庸)，阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop，Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。

Apache Spark 3.0 and Koalas的最新进展主讲人李潇,Databricks Spark 研发总监，管理一跨国团队，专注于 Apache Spark 和 Databricks Runtime 的开发和建设。他是 Apache Spark 项目管理委员会成员。本科毕业于南京理工大学，后在佛罗里达大学（University of Florida）获计算机博士学位， 曾就职于 IBM，获发明大师称号（Master Inventor），在数据处理领域发表专利十余篇。（Github: gatorsmile）

围绕大数据的开源生态、技术生态、商业生态，分享当下开源大数据技术的发展趋势，并展示一线生产场景的最佳实践。

EMR-运行工作流

帮助企业做好MaxCompute成本优化的实践

中金易云（浙江新华书店）基于MaxCompute构建图书行业数据中台。打通全国1000多家出版机构，20多个发行集团，5000多家零售门店的数据，以大数据思维方法论重构图书出版发行行业。MaxCompute统一的存储、计算引擎和数据开发平台，提供全局的数据资源视图。计算资源可根据项目需要动态调整，快速生效。同时提供多租户隔离机制，各部门可独立管理自身的数据，独立做数据权限管理。

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题，更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授，帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

流批一体专场由来自阿里云智能、小红书、字节跳动、小米等企业的技术专家为你呈现流批一体的大规模应用实践案例，了解业务在数仓建设过程中的痛点与思考。另有来自阿里云智能高级技术专家将分享流批融合的理念与优势，结合全增量一体数据处理场景介绍流批融合的技术挑战与设计方案，以及 Flink 社区在这方面的最新进展与未来规划。

session保持

免费制作国庆微信头像，1行Python代码搞定，小白可用

1行Python代码，定制自己的智能助理，微信机器人开启关键词回复模式

【第5讲】100个Word转PDF，Python批量办公自动化，告别无意义加班

听一听参与夏令营的同学们怎么说，阿里云在这里期待迎接更多优秀的同学们！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

听一听参与夏令营的同学们怎么说，阿里云在这里期待迎接更多优秀的同学们！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

来自全国不同高校的学生们相聚在阿里云园区，一声同学，一份关切，情意绵长，美好永在！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

【第1讲】Python3.11的下载、安装和卸载，无脑操作，有手就能学会

点此免费试用 ->本实验基于Kibana Lens制作航班信息可视化，例如航班延误情况、机票平均价格等。通过本实验，您将掌握Kibana Lens的使用方法，帮助您更加直观地展现和分析数据，从而更好地发现数据中的洞见，驱动业务增长和优化。讲师简介刘晓国 - Elastic 首席布道师

Apache Flink 是领先的流处理标准，流批统一的数据处理概念在越来越多的公司中得到认可。Apache Flink 社区在3月份发布了1.17大版本，Flink 1.17 有172位贡献者热情参与，完成了7个 FLIP 和600多个 issue，为社区带来了许多令人兴奋的新功能和改进。相比1.16版本，Flink 1.17 侧重提升了引擎的批处理的性能和完善了流处理语义，使得用户可以实现更简化更实时的数据仓库，朝着 Streaming Warehouse 领域迈进了一大步。讲师/嘉宾简介徐榜江（雪尽） 阿里云 Flink 数据通道负责人Apache Flink PMC Member & Committer ，Flink 1.17 Release Manager

Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”李明字节跳动架构工程师王义字节跳动基础架构工程师

为加强用户对AI Earth的理解，促进双方交流，提升AI Earth在地球科学领域的服务支撑能力，达摩院多位专家带来AI Earth地球科学云平台线上系列培训，干货满满，诚邀参与！

Flink Forward Asia 实时风控专场 “京东物流实时风控实践”周文跃 风控数据产品组架构师

关注我，学习更多简单易懂的编程实战案例。进主页获取更多编程/就业/副业/创业/资源。

实时数仓workshop北京站"预计算技术+Hologres在阿里采集流量分析产品中的实践"康凯阿里巴巴技术专家

实时数仓workshop北京站"淘菜菜-基于Flink和Hologres的高可用实时数仓构架升级之路"汪宇阿里巴巴淘菜菜事业部数据技术专家

大数据&AI技术实战沙龙-厦门站

流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例，详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介张静｜快手技术专家，Apache Flink/Calcite Committer马年圣｜蚂蚁集团数据技术专家，实时数仓架构师王鑫｜蚂蚁集团高级技术专家，Apache Storm PMC，Apache RocketMQ Committer，Apache IoTDB Committer杨涵冰｜上海数禾信息科技有限公司 大数据架构师张颖｜京东数据分析优化部算法开发工程师，Alink、DeepLearning on Flink Contributor

Apache Flink Meetup 北京站主题：基于 Flink CDC + Kafka 加速业务实时化讲师：任庆盛 Apache Flink Committer

从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。讲师/嘉宾简介Databricks软件工程师 张泊产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群

阿里云Elasticsearch通过Serverless的方式，充分利用云端的服务化产品能力的优势，帮助企业在成本、日志容灾、冷热多级存储、横向扩展效率、并发性能及稳定性等痛点问题提供能力支持讲师/嘉宾简介赵弘扬 阿里云高级产品专家阿里云Elasticsearch产品团队负责人

本专场集结阿里巴巴、腾讯、快手、小米、美团的技术专家探讨超大规模Flink集群运维与大规模作业稳定性优化实践等议题。讲师/嘉宾简介1.《阿里超大规模 Flink 集群运维体系介绍》王华 - 阿里云实时计算高级运维专家2.《Flink 引擎在快手的深度优化与生产实践》刘建刚 - 快手实时计算团队技术专家3.《大规模作业的稳定性优化实践》邱从贤 - 腾讯数据平台高级开发工程师，Apache Flink Committer4.《小米基于 Flink 的稳定性优化与实践》张蛟 - 小米大数据部高级软件工程师，Apache Flink Contributor5.《美团 Flink 大作业部署与状态稳定性优化实践》冯斐 - 美团数据平台计算引擎组工程师王非凡 - 美团数据平台计算引擎工程师，Apache Flink Contributor

开源大数据生态专场，来自 Pravega、Pulsar、TiDB、Zeppelin 等社区的技术专家围绕 Flink 的生态融合，探讨当下大数据的发展趋势与未来动向，并展现相关技术在一线生产场景的最佳实践。讲师/嘉宾简介1.《HTAP 趋势下，大数据的未来》黄东旭 - PingCAP 联合创始人兼 CTO，资深基础软件工程师，架构师2.《Pravega Flink connector Table API 进阶功能揭秘》周煜敏 - 戴尔科技集团高级软件工程师，Apache Flink Contributor3.《打造批流融合：Pulsar - Flink Connector 的设计、开发和使用》盛宇帆 - StreamNative 工程师4.《大数据三剑合一：Flink + Zeppelin + Airflow》章剑锋 - 阿里巴巴高级技术专家，Apache Member，PMC of Zeppelin、Tez、Livy

行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《Flink 在能源建设的实践》姚远 - 中南电力设计院工程师、注册测绘师2.《Apache Flink 在蔚来汽车的应用》吴江 - 蔚来汽车大数据部门数据开发，OLAP 平台 tech lead3.《Flink 在字节跳动数据流的实践》刘石伟 - 字节跳动数据平台数据流技术负责人4.《网易游戏基于 Flink 的支付环境全关联分析实践》林佳 - 网易互娱技术中心计费实时平台与 SDK 技术负责人，Apache Flink Contributor

核心技术专场，由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink 新一代流计算和容错 - 阶段总结和展望》梅源 - 阿里巴巴开源大数据架构师，Apache Flink 引擎架构师，Apache Flink Committer2.《Improvements of Job Scheduler and Query Execution on Flink OLAP》方勇 - 字节跳动基础架构工程师3.《面向流批一体的 Flink Runtime 新进展》高赟 - 阿里巴巴技术专家，Apache Flink Committer4.《Trisk：在 Flink 上实现以 task 为中心的流处理动态 reconfiguration 的 control plane》毛言粲 - 新加坡国立大学

本次直播将介绍MaxCompute支持的三款开源ETL工具Kettle、Airflow、Azkaban以及连接示例。讲师简介龙青云 阿里云智能 技术支持经理

分享主题一、高端对话：云生态下的开源共生之路二、云原生Elasticsearch驱动新未来三、“扬帆”启航，云聚未来四、Elastic Stack 解决方案与行业应用实践讲师介绍贾扬清 阿里巴巴集团副总裁Shay Banon Elastic创始人&CEO"邓万禧 阿里巴巴资深技术专家张锐 阿里云智能全球战略联盟总经理Doug Farber Elastic全球渠道联盟副总裁"朱杰 Elastic首席解决方案架构师

本节主要介绍EMR针对云上大数据的存储解决方案，如何为计算提供灵活高效的存储基础讲师：姚舜扬，花名辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

Intel MLlib是一个为Apache Spark MLlib优化的软件包。它在保持和Spark MLlib兼容的同时，在底层利用原生算法库来实现在CPU和GPU上的最优化算法，同时使用Collective Communication来实现效率更高的节点间通信。我们的初步结果表明，该软件包在最小化应用改动的基础上，可以极大地提升MLlib算法的性能。讲师介绍吴晓昶英特尔亚太研发有限公司大数据部门的高级软件工程师，主要研究方向为并行计算，大数据系统和机器学习，CPU和GPU的性能优化。目前关注Spark和机器学习的系统性能优化。

针对电商行业特点和面临的问题，分析在具体的技术实践中，针对多元化商品形态、多样的用户行为，如何做到搜索的智能化和效果评测等。讲师介绍：项招贵（项公）-阿里巴巴技术专家

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍陈玉兆，Apache Calcite PMC,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍吴良波，网易JAVA技术专家更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍章剑锋Apache Member,阿里巴巴高级技术专家孙金城Apache Flink PMC,阿里巴巴高级技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场