阿里云大数据数仓建设性能优化方式

MaxCompute SQL优化

MaxCompute 2.0新功能介绍

高德对数据平台的要求不仅是数据集成、开发、运维中心、数据质量、数据地图、数据安全以及数据服务等全链路All in One，还希望能以可视化的方式进行用户交互，以提高开发效率。以运维中心为例，希望所使用的工具能够将调度节点可视化，方便进行不同时间粒度的任务依赖。同时，还希望拥有可视化的数据地图用于管理元数据信息，方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。不仅具有零学习成本和完善的IDE等优势，更具备超高弹性，让高德得以轻松应对国庆假期的超高流量。同时，基于MaxCompute等阿里云产品，让高德内部迄今为止最大的公共项目“魔方”得以实现，为用户提供更优质的出行服务。

大数据技术公开课第二季直播详情>>>

获奖用户信息填写地址： https://survey.aliyun.com/survey/AgDLQqOP7 点击聚能聊畅所欲言： 【阿里云新品发布】开启新一代数据智能开发之路： https://yq.aliyun.com/roundtable/325525 了解更多产品详情，欢迎点击： https://et.aliyun.com/bigdatarelease 本次阿里云有6款大数据联合发布，分别是： DataWorks 智能SQL引擎：大大提升数据开发者Coding-效率，更加自然、智能的体验享受 机器学习PAI AutoML：参数自动化调优，为算法工程师节省大量调参工作，并输出好的模型 全新的分析产品DataLake Analytics：计算存储相分离，OSS数据分析最佳拍档，极低的分析成本 MaxCompute底层存储升级： EMR 一体化云上工作平台： Elasticsearch智能运维和离线平台： 议程如下： 13：30-14：00 《新一代智能数据工场》——士诚 14：00-14：30《机器学习PAI AutoML技术解析》——傲海 14：30-15：00《实践演练：云上编程应用》——祝星 15：00-15：30《无服务器分析架构最佳实践Data Lake Analytics》—长风 15：30-16：00《大数据计算服务MaxCompute底层存储升级解析》— 圣远 16：00-16：30《EMR：一体化Hadoop云上工作平台》—— 雷飙 16：30-17：00《Elasticsearch智能运维与离线平台》——洪阳 下载阿里云APP二维码，新品发布会抢先看：

本视频介绍了鱼泡使用阿里云ODPS系列产品解决业务问题的最佳实践和业务收获。

DataWorks 数据资产治理（原数据治理中心）可根据预先配置的治理计划，自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，还提供业务资产管理、资产分析、任务资源消耗明细、费用预估等功能，帮助您有效掌握各类资源的使用详情。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践，重点探讨 Flink 的核心技术（如状态管理、容错机制、数据传输、大规模调度和核心算法等）在实际生产环境中面临的挑战，以及如何通过最佳实践来进行扩展和改进。

EMR StarRocks 线上公开课 第1期直播亮点统一极速湖仓架构的技术思考Serverless StarRocks 亮点及技术优势Serverless StarRocks 已落地案例分享Serverless StarRocks 持续演进与规划讲师简介弘锐 - 阿里云 E-MapReduce 产品专家

视频内的参考资料： https://havenask.net/# /doc/v1-1-0/sql/indexes/inverted https://havenask.net/# /doc/v1-1-0/sql/indexes/inverted# text%E7%B4%A2%E5%BC%95 Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask进阶系列课程第1课《文本检索》，共讲解2部分内容。 文本索引简介 文本索引实践 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云OpenSearch官网：https://www.aliyun.com/product/opensearch Havenask官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍：此视频为Havenask入门教程系列的第9节课《问题排查》，将对Havenask使用中4块内容进行讲解。 ● Hape运维脚本 ● 集群 ● 表创建 ● 数据写入与查询 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网：https://www.aliyun.com/product/opensearch 官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask入门课程第4节《创建表》，共讲解2部分内容。 -创建直写表 -创建全量表 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网：https://www.aliyun.com/product/opensearch 官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。

生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题，更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。

2023全球智能汽车AI挑战赛赛道一初赛赛题辅导

阿里云ODPS新品发布会将介绍阿里云自研大数据产品MaxCompute、Hologres、DataWorks产品新能力，持续演进满足多元化数据计算需求。本期将重点介绍ꔷ Hologres推出计算组实例ꔷ Hologres支持JSON数据 ꔷ Hologres向量计算+大模型能力ꔷ Hologres数据同步新能力ꔷ Hologres数据分层存储讲师/嘉宾简介丁烨：实时数仓Hologres 产品PD骆撷冬：实时数仓Hologres 产品PD赵红梅：实时数仓Hologres 产品PD武润雪；实时数仓Hologres 产品PD

Python入门-面向对象编程（继承与多态）

本次实战营由阿里云 Flink 专家与传智教育高级顾问联合出品，项目依托于传智教育博学谷线上教育平台数字化建设场景，真实还原实时计算业务细节，学完后掌握基于阿里云的 Flink CDC，Paimon，StarRocks 等核心技术，收获完整实时数仓与流式数据湖构建经验。 讲师/嘉宾 赵晨杰-黑马程序员技术专家张敬存-黑马程序员技术专家

打卡2023世界人工智能大会# 除了马斯克的机器人，大模型无疑是最热的话题，本次大会将有30多款大模型亮相，我们明天下午将走进《以模型为中心的AI开发新范式 》论坛，看看模型对人工智能行业发展到底有什么意义！欢迎关注我们！

点此免费试用 ->保姆级教程！3分钟开通阿里云检索分析服务Elasticsearch版免费试用。阿里云检索分析服务Elasticsearch版兼容开源 ELK 功能，免运维全托管，适用于业务峰谷明显，提升企业数据检索与运维分析能力。

来自水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家，针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 进行分享。EMR Serverless StarRocks 免费公测讲师/嘉宾简介水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家

讲师简介张友东：StarRocks Active Contributor内容简介在线讲解从 shared-nothing 到 shared-data 的湖仓分析新范式如何帮助用户实现“极速统一“的价值。动手实践EMR Serverless StarRocks 免费测试https://developer.aliyun.com/article/1191440

Flink Forward 行业实践 “Flink在平安证券的实践”张兴平安证券经纪大数据基础平台负责人

Flink Forward 行业实践 “电商SaaS全渠道实时数据中台最佳实践”应圣楚聚水潭高级ETL工程师张成玉聚水潭大数据开发专家

Flink Forward 行业实践 “菜鸟供应链实时数仓最佳实践”张庭阿里巴巴菜鸟网络高级数据研发工程师

Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”周超小米软件开发工程师

Flink Forward 核心技术 “基于Log的通用增量Checkpoint在美团的进展”王非凡美团数据平台计算引擎工程师

Flink Forward 核心技术 “基于Log的通用增量Checkpoint”俞航翔Apache Flink Contributor

Flink Forward 数据集成“顺丰基于 Flink CDC + Hudi 推进实时业务落地”唐尚文 顺丰科技大数据平台研发工程师

Flink Forward 数据集成“Flink CDC 在京东的探索与实践”韩飞 京东资深技术专家

Flink Forward 实时湖仓“Flink + StarRocks：实时数据分析新范式”谢寅 StartRocket 社区技术布道师

Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”王磊 SelectDB 资深大数据研发专家

Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”李劲松 Flink PMC

Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer

Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”戢清雨 SmartNews 数据平台架构师

Flink Forward 实时湖仓“快手基于Apache Flink 的实时数仓建设实践”羊艺超 快手实时数据开发工程师冯立 快手实时数据开发工程师

Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”姜伟华（果贝） 阿里云Hologres负责人

Lakehouse Meetup “基于数据湖格式构建数据湖仓架构”毕岩 阿里巴巴技术专家

云原生为数据集成领域注入了全新生命力，本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江｜阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航｜阿里云高级开发工程师，Apache Flink Contributor & Flink CDC Maintainer袁奎｜小红书高级开发工程师胡焕｜小米计算平台高级工程师张军｜科杰科技大数据架构师，Apache Flink、Iceberg、StreamPark Contributor

流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例，详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介祝海峰｜阿里巴巴高级技术专家孙金城｜字节跳动火山引擎LAS计算方向负责人，Apache Flink PMC，Apache IoTDB PMC，Apache Shenyu PMC，ASF Member罗宇侠｜阿里云 开发工程师方盛凯｜阿里云 开发工程师李明昆｜Shopee 高级研发工程师，Flink Remote Shuffle Contributor

由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践，回归技术本质，打造全方位技术盛宴。讲师/嘉宾简介俞航翔｜Apache Flink Contributor范瑞｜Tech Lead of Shopee Flink Runtime Team，Apache StreamPark Committer & Flink/Hadoop/HBase/RocksDB Contributor张杨｜bilibili 资深开发工程师李明｜字节跳动基础架构工程师王义｜字节跳动基础架构工程师王非凡｜美团数据平台计算引擎工程师，Apache Flink Contributor

由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践，回归技术本质，打造全方位技术盛宴。讲师/嘉宾简介梅源｜阿里云 Flink 存储引擎团队的负责人，Apache Flink 引擎架构师，Apache Flink PMC & Committer宋辛童｜阿里云高级技术专家，Apache Flink PMC Member & Committer朱翥｜阿里云高级技术专家，Apache Flink PMC & Committer曹帝胄｜字节跳动基础架构工程师付典｜阿里云高级技术专家，Apache Flink PMC & Committer