AI 加持的阿里云飞天大数据平台技术揭秘-关涛 徐晟

大数据 & AI 发展的新挑战和新机遇-贾扬清

2019杭州云栖大会大数据生态专场中的分享《Spark Relational Cache实现亚秒级响应的交互式分析》Apache Spark被广泛用于超大规模的数据分析处理，在交互式分析等时间敏感的场景中，超大规模数据量的处理时间可能无法满足用户快速响应的需求。通过数据的预组织和预计算，将频繁访问的数据和计算提前执行并保存在Relational Cache中，优化后续特定模式的查询，可以显著提高查询速度，实现亚秒级的响应。本议题主要介绍Spark Relational Cache的实现原理和使用场景。主讲人王道远（健身），阿里云EMR技术专家，Apache Spark活跃贡献者，主要关注大数据计算优化相关工作。

EMR-Jindo 是 EMR 推出的云原生 OLAP 引擎。凭借该引擎，EMR 成为第一个云上 TPC-DS 成绩提交者。经过持续不断地内核优化，目前基于最新 EMR-Jindo 引擎的 TPC-DS 成绩又有了大幅提高，达到了3615071，成本降低到 0.76 CNY。本次分享将介绍 EMR-Jindo 引擎背后的相关技术以及以 EMR-Jindo 为核心的云上大数据架构方案。主讲人辛现银(辛庸)，阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop，Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。

介绍阿里云上开源生态的发展，阿里云如何更好的支持和融合开源生态，以及未来的发展。主讲人夏立，花名雷飙，阿里巴巴计算平台EMR高级产品专家，2014年开始接触大数据，历经阿里内部的大数据发展，目前在阿里云上负责开源的大数据平台EMR产品，构建云上的开源生态。

介绍阿里云实时计算团队推出的基于Flink的新产品形态—Flink on Kubernetes模式。重点介绍开源Flink1.9的主要功能和实时计算产品基于Flink1.9产品化版本Ververica企业版核心优势。 <br/> 直播嘉宾：张荣 阿里云智能事业群 产品专家

本次直播将为您做DataWorks增值版本的高级feature及场景化介绍，帮您更好的了解和使用DataWorks增值版本。 <br/> 直播嘉宾：刘天鸢 阿里云智能事业群 高级产品经理

众安保险作为国内首家互联网保险公司，从创立之初计算平台就使用MaxCompute。MaxCompute不仅仅是一个计算平台，它还提供可用的IDE（DataWorks、Studio）开发工具进行数据分析和挖掘，从而降低了众安最初的开发成本。MaxCompute不仅为众安提供任务调度系统、元数据、数据质量监控、数据服务与安全，而且生态的丰富，资源与工具的共享，都能很好的满足众安的使用需求，让众安可以有更多时间去接触用户，为用户创造更大价值。

查看产品：DataWorks点击了解：Stream Studio重磅发布有奖问答：互联网大数据时代的实时计算需求，你打算用什么方式来应对？点击了解：“阿里云新品发布会频道”点击订阅：阿里云新品发布·周刊发布会议程简介15:00-16:00 《阿里云DataWorks Stream Studio —— 一站式流任务开发平台》介绍实时计算任务开发的困难、问题和背景，引出使用Stream Studio可以大大加快实时任务的开发速度，降低开发和维护门槛，同时结合DataWorks的整体能力，能够实现实时数仓、实时监控、实时分析、实时大屏等实时大数据场景的一站式开发。讲师简介王喆（喆别）+阿里巴巴产品专家扫码加入阿里云Stream Studio用户群

1、直播内容介绍：[MVP 时间]是由阿里云MVP主讲，聚焦行业数字化转型的实战经验的最佳实践课程。重在帮助开发者快速了解中小企业业务搭建中的技术难点与解决方案，减少踩坑。本课程《4节课全面突围企业大数据实践路线》为系列内容，全面介绍企业大数据是如何一步步搭建及应用的过程。课程划分：共计4节课内容，分4次直播进行；每周三晚20:00准时开播，每次1个小时（45分钟的课程，15分钟的答疑）。此次为第四节课程：典型技术架构分析和构建2、分享嘉宾信息：姓名：戚俊 阿里云 MVP职位：浙江银杏谷投资总裁技术助理加钉钉群随时与老师在线互动。

本视频介绍了人力家公司使用阿里云ODPS系列产品解决业务问题的最佳实践和业务收获。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

EMR StarRocks 线上公开课 第3期直播亮点EMR Serverless StarRocks 极速分析存算分离架构升级Trino兼容，无缝替换讲师/嘉宾简介周康（榆舟）阿里云高级技术专家开源大数据OLAP引擎团队负责人StarRocks TSC Member

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask进阶系列课程第4课《分词器开发》，视频中共包含以下3部分内容。 分词器插件简介 内置分词器介绍 分词器实战开发 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云OpenSearch官网：https://www.aliyun.com/product/opensearch Havenask官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

hape工具参考：https://havenask.net/# /doc/sql/petool/intro kubernetes部署参考： https://havenask.net/# /doc/v1-2-0/sql/petool/startcluster/k8smode k8s模式问题排查：https://havenask.net/# /doc/v1-2-0/sql/petool/problem# k8s%E6%A8%A1%E5%BC%8F%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5 Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍：此视频为Havenask入门教程系列的第9节课《问题排查》，将对Havenask使用中4块内容进行讲解。 ● Hape运维脚本 ● 集群 ● 表创建 ● 数据写入与查询 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网：https://www.aliyun.com/product/opensearch 官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：78c5cfa61c64a55cdeb0655ac7eb2849.png

轻量实时数据分析方案介绍

实时数仓Hologres介绍

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask入门课程第4节《创建表》，共讲解2部分内容。 -创建直写表 -创建全量表 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网：https://www.aliyun.com/product/opensearch 官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask入门课程第5节《变更表结构》，共讲解3部分内容。 表结构简介 全量构建与切换流程 修改表实践 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网：https://www.aliyun.com/product/opensearch 官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍：此视频为Havenask入门系列第6节《集群扩备份》，将对Havenask的扩备份进行介绍。 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网：https://www.aliyun.com/product/opensearch 官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

数据集成专场邀请了阿里云智能、飞轮科技、Oceanbase、B 站的技术专家分享基于 Flink 的数据集成系统探索与实践。

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题，更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题，更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授，帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授，帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

平台建设专场由来自阿里云智能、网易、小米、SelectDB 的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。

【产品伙伴故事专辑】：https://www.aliyun.com/page-source/chanpinshengtai/productpartner/productecologylivelist【伙伴介绍】UINO优锘科技从2012年起自研Web端数字孪生引擎ThingJS，致力于通过数字孪生可视化技术，让人们更好地认知、管理、创造数字化新世界。已帮2000+标杆企业落地应用，一站式平台拥有100万+开发者，25万企业用户。讲师/嘉宾简介讲师：郝泊盈职位：优锘科技市场总监

本视频将教会你如何在aliyun.com开通实时计算Flink免费试用版。

2023全球智能汽车AI挑战赛赛道一初赛赛题辅导

【产品伙伴故事专辑】：https://www.aliyun.com/page-source/chanpinshengtai/productpartner/productecologylivelist【伙伴介绍】安恒一直秉承“助力安全中国、助推数字经济”的企业使命，以数字经济的安全基石为企业定位，逐步形成了云安全、大数据安全、物联网安全、智慧城市安全、工业互联网和工控系统安全在内的五大战略方向。安恒凭借强大的研发实力和持续的产品创新，完成覆盖网络信息安全全生命周期的产品、服务及解决方案体系。讲师/嘉宾简介讲师：郑赳职位：高级副总裁

Requests模块发送post请求

云上自动化的四个层次； 自动化实践过程的关键点； 不同规模企业如何规划自动化； 自动化时间过程中的角色责任； 自动化实践过程中的工作流程。

同时查找100个Excel，阁下如何应对？1行Python搞定

汉字转拼音，1行Python代码就够了，少儿编程太好玩了！

Python爬虫，了解一下？1行代码下载图片，小白轻松学

手把手教你如何搭建Python空间数据处理开发环境

Python入门-文件管理

Python入门-函数式编程简介

Python入门-序列与字典（列表、元组、字典）

Python入门-运算符与字符串

听一听参与夏令营的同学们怎么说，阿里云在这里期待迎接更多优秀的同学们！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

听一听参与夏令营的同学们怎么说，阿里云在这里期待迎接更多优秀的同学们！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

学生们在为期5天的夏令营中，通过探索阿里云文化、实践云上场景，了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

本次 Meetup 邀请了来自阿里巴巴、字节跳动的七位技术专家，聚焦大规模 CDC 数据入湖实践、Flink 一站式湖仓一体构建、流式数据湖关键特性以及统一的 RSS 等，全方位解析 Streaming Lakehouse 最前沿的技术，最新的产业实践！Flink、Paimon、Celeborn、Flink CDC、StarRocks 多个开源项目汇聚在一起，会碰撞出怎样的火花？敬请期待！ 讲师： 李劲松 阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家 徐榜江 阿里云 Flink 数据通道负责人 刘大龙 阿里云研发工程师 李国君 字节跳动基础架构工程师 周克勇 阿里云/数据湖Spark引擎负责人 曾庆栋 阿里云高级开发工程师 王洪顺 阿里云大数据开发工程师

点此免费试用 ->本实验基于Kibana Lens制作航班信息可视化，例如航班延误情况、机票平均价格等。通过本实验，您将掌握Kibana Lens的使用方法，帮助您更加直观地展现和分析数据，从而更好地发现数据中的洞见，驱动业务增长和优化。讲师简介刘晓国 - Elastic 首席布道师

2023年广东省大学生计算机设计大赛人工智能挑战赛（商用服务机器人/仿生机器人/智能网联汽车技术应用）赛项说明会。 广东省大学生计算机设计大赛是中国大学生计算机设计大赛的下属赛事，由广东省教育厅主办，广东外语外贸大学承办。该赛项旨在不断提高大学生计算机应用能力，培养学生信息素养及团队合作意识，增强学生创新意识和创造力，提高计算机教学质量和水平。 本次说明会将围绕人工智能领域商用服务机器人、仿生机器人、智能网联汽车技术应用三个赛项本科组和高职组进行介绍和说明。欢迎广东省内各大高校、职业院校相关专业师生参与本次赛项说明会，了解更多赛项说明请锁定3月23日下午3点。 讲师/嘉宾简介 广东外语外贸大学信息科学与技术学院副院长谢柏林 广州番禺职业技术学院信息工程学院院长余明辉 中山职业技术学院信息工程学院副院长赵清艳 广东交通职业技术学院 汽车与工程机械学院副院长张胜宾 阿里云高校教育总监王隽

Flink Forward 核心技术 “Flink state的优化与remote state的探索”张杨bilibili 资深开发工程师

Flink Forward 行业实践“中原银行OLAP架构实时化演进”杜威科 中原银行实时计算平台负责人