阿里云大数据数仓建设性能优化方式

MaxCompute异构数据源与非结构化数据处理

作为亚洲最大的共享时装月租平台，衣二三基于MaxCompute构建个性化、智能化运营工具，完成了精准的商品分析和采购指导。MaxCompute 不仅数据吞吐量大，查询性能好，更具备可视化任务编辑界面，易于上手，省去复杂作业运维工作。使用成本低，并能与阿里云大数据产品 生态融为一体。

1、直播内容介绍：[MVP 时间]是由阿里云MVP主讲，聚焦行业数字化转型的实战经验的最佳实践课程。重在帮助开发者快速了解中小企业业务搭建中的技术难点与解决方案，减少踩坑。本课程《4节课全面突围企业大数据实践路线》为系列内容，全面介绍企业大数据是如何一步步搭建及应用的过程。课程划分：共计4节课内容，分4次直播进行；每周三晚20:00准时开播，每次1个小时（45分钟的课程，15分钟的答疑）。此次为第三节课程：解析业务数据特征2、分享嘉宾信息：姓名：戚俊 阿里云 MVP职位：浙江银杏谷投资总裁技术助理加钉钉群随时与老师在线互动。

获奖用户信息填写地址： https://survey.aliyun.com/survey/AgDLQqOP7 点击聚能聊畅所欲言： 【阿里云新品发布】开启新一代数据智能开发之路： https://yq.aliyun.com/roundtable/325525 了解更多产品详情，欢迎点击： https://et.aliyun.com/bigdatarelease 本次阿里云有6款大数据联合发布，分别是： DataWorks 智能SQL引擎：大大提升数据开发者Coding-效率，更加自然、智能的体验享受 机器学习PAI AutoML：参数自动化调优，为算法工程师节省大量调参工作，并输出好的模型 全新的分析产品DataLake Analytics：计算存储相分离，OSS数据分析最佳拍档，极低的分析成本 MaxCompute底层存储升级： EMR 一体化云上工作平台： Elasticsearch智能运维和离线平台： 议程如下： 13：30-14：00 《新一代智能数据工场》——士诚 14：00-14：30《机器学习PAI AutoML技术解析》——傲海 14：30-15：00《实践演练：云上编程应用》——祝星 15：00-15：30《无服务器分析架构最佳实践Data Lake Analytics》—长风 15：30-16：00《大数据计算服务MaxCompute底层存储升级解析》— 圣远 16：00-16：30《EMR：一体化Hadoop云上工作平台》—— 雷飙 16：30-17：00《Elasticsearch智能运维与离线平台》——洪阳 下载阿里云APP二维码，新品发布会抢先看：

DataWorks的Notebook提供了一个交互式、灵活且可复用的数据处理和分析环境，增强了直观性、模块化和交互性，帮助您更轻松地进行数据处理、探索、可视化和模型构建。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。

FFA2024流式湖仓专场由Apache Flink核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构，探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践，如何帮助业务获得更实时的数据来驱动业务决策，并实现数据管理的降本增效。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来，将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效，安全，敏捷地落地实时数据处理框架。

Hologres分析服务一体化架构与优势，新能力Serverless Computing实现大ETL任务降本，行为、画像分析等场景深耕，多种函数组合，实时数仓、离线实时一体、实时湖仓多种方案实践讲师/嘉宾简介丁烨 阿里云Hologres产品专家

视频内的参考资料： https://havenask.net/# /doc/v1-1-0/sql/indexes/inverted https://havenask.net/# /doc/v1-1-0/sql/indexes/inverted# text%E7%B4%A2%E5%BC%95 Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask进阶系列课程第1课《文本检索》，共讲解2部分内容。 文本索引简介 文本索引实践 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云OpenSearch官网：https://www.aliyun.com/product/opensearch Havenask官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍：此视频为Havenask入门课程第7节《集群扩分片》，将对Havenask的扩分片进行介绍。 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网：https://www.aliyun.com/product/opensearch 官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授，帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授，帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

【产品伙伴故事专辑】：https://www.aliyun.com/page-source/chanpinshengtai/productpartner/productecologylivelist【伙伴介绍】UINO优锘科技从2012年起自研Web端数字孪生引擎ThingJS，致力于通过数字孪生可视化技术，让人们更好地认知、管理、创造数字化新世界。已帮2000+标杆企业落地应用，一站式平台拥有100万+开发者，25万企业用户。讲师/嘉宾简介讲师：郝泊盈职位：优锘科技市场总监

Python入门-函数式编程简介

【第8讲】免费的微信机器人发布了，只需要1行Python代码，赶紧来试试

听一听参与夏令营的同学们怎么说，阿里云在这里期待迎接更多优秀的同学们！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

听一听参与夏令营的同学们怎么说，阿里云在这里期待迎接更多优秀的同学们！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

学生们在为期5天的夏令营中，通过探索阿里云文化、实践云上场景，了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

来自全国不同高校的学生们相聚在阿里云园区，一声同学，一份关切，情意绵长，美好永在！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

Flink Forward 核心技术 “基于Log的通用增量Checkpoint在美团的进展”王非凡美团数据平台计算引擎工程师

Flink Forward 核心技术 “基于Log的通用增量Checkpoint”俞航翔Apache Flink Contributor

Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”孙家宝Xtransfer基础架构团队

Flink Forward 核心技术“Apache Flink 1.16 功能解读”黄兴勃 阿里云高级开发工程师

Flink Forward 行业案例“集度汽车Flink on native k8s 的应用与实践”顾云 集度汽车数据开发专家周磊 集度汽车数据部门实时方向负责人

Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”耿飙 阿里云开发工程师胡俊涛 阿里云开发工程师

实时数仓workshop北京站"阿里云实时计算Flink版产品介绍与演示"乐泽阿里云高级产品专家

阿里云数创先锋大数据实战营专场（第二场）

Apache Flink Meetup 北京站主题：出品人发言讲师：贺小令 阿里巴巴高级技术专家

阿里云联合生态伙伴索信达共同推出“索信达智能金融平台”解决方案。索信达智能金融平台包括批量营销、实时营销、个性化推荐、标签管理、内容管理等多个模块，对客户提供即开即用的一站式落地部署解决方案。欢迎加入钉钉客户沟通群，了解更多解决方案信息

从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。讲师/嘉宾简介Databricks软件工程师 张泊产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群

平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《B 站基于 Flink 的多元化探索与实践》张杨 - 哔哩哔哩基础架构部 资深研发工程师2.《汽车之家基于 Flink 的实时计算平台 3.0 建设实践》邸星星 - 汽车之家实时计算平台负责人3.《腾讯新闻基于 Flink + PipeLine 模式的应用与实践》罗强 - 腾讯新闻商业化数据工程师4.《Native Flink on K8S 在小红书的实践》何军 - 小红书数据流团队资深研发工程师

核心技术专场，由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink Connector 社区新动向与 Hybrid Source 原理实践》任庆盛 - 阿里巴巴开发工程师，Apache Flink Contributor蒋晓峰 - 阿里巴巴技术专家，Apache RocketMQ & Apache ShardingSphere & SOFAJRaft Committer，Apache Flink Contributor2.《基于 FFI 的 PyFlink 下一代 Python 运行时介绍》黄兴勃 - 阿里巴巴高级开发工程师，Apache Flink Committer，PyFlink 核心贡献者3.《StateBackend Performance Improvements with Cache》李明 - 字节跳动基础架构工程师，Apache Flink Contributor4.《为实时机器学习设计的算法接口与迭代引擎》林东 - 阿里巴巴高级技术专家，Apache Kafka PMC Member高赟 - 阿里巴巴技术专家，Apache Flink Committer

核心技术专场，由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink SQL 在快手的落地和扩展》张静 - 快手实时计算团队技术专家，Apache Flink Committer张芒 - 快手实时计算团队技术专家2.《Flink State-Backend Improvements and Evolution in 2021》李钰 - 阿里巴巴资深技术专家，ASF Member，Apache Flink & HBase PMC唐云 - 阿里巴巴技术专家，Apache Flink committer3.《Powering HTAP at ByteDance with Apache Flink》刘洋 - 字节跳动基础架构工程师，Apache Flink Contributor邹丹 - 字节跳动基础架构工程师，Apache Flink Contributor4.《深入解析 Flink 细粒度资源管理》郭旸泽 - 阿里巴巴高级开发工程师，Apache Flink Committer5.《Flink Join 算子优化》孙梦瑶 - 美团资深开发工程师

如何在1周内搭建一个个性化推荐服务，而且在短时间内迭代效果并取得提升，介绍如何通过平台开发的方式快速上手复杂的推荐场景开发业务。讲师简介讲师：王亚宁花名：栀露头衔：阿里巴巴集团产品专家

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务。Hologres与MaxCompute高度融合，能以外表方式加速查询MaxCompute数据。本次主要介绍加速查询MaxCompute原理，以及如何建外表加速查询，导入内表最佳实践。讲师简介王奇(慧青)，阿里巴巴技术专家，长期从事Hologres引擎开发工作

本次主要介绍Flink高性能写入Hologres原理，以及Flink如何订阅Hologres源表、维表，实现一站式实时数仓讲师简介王华峰（继儒），阿里巴巴技术专家， 长期从事Hologres引擎开发工作。

以“开源共生，云聚未来”为主题，业界资深专家相聚云端，共话云上Elasticsearch生态与技术的未来。本专场面向生态合作伙伴群体。讲师介绍贾扬清 阿里巴巴集团副总裁、阿里云智能高级研究员Shay Banon Elastic创始人&CEO邓万禧 阿里巴巴资深技术专家张锐 阿里云智能全球生态联盟总经理Doug Farber Elastic全球渠道联盟副总裁朱杰 Elastic首席解决方案架构师

本节主要内容有 EMR 核心组件简介和使用、常用引擎使用示例、数据开发等讲师：孙大鹏，花名诚历，阿里巴巴 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳，本次直播将详细介绍Native Codegen框架。讲师简介：周克勇，花名一锤，阿里巴巴计算平台事业部EMR团队技术专家，大数据领域技术爱好者，对Spark有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。参考文章：EMR Spark-SQL性能极致优化揭秘 Native Codegen Frameworkhttps://developer.aliyun.com/article/765156?spm=a2c6h.12873581.0.dArticle765156.5f6f47b4Mj7VpM&groupCode=aliyunemr

带你详细了解MaxCompute产品服务模式及各个规格，帮你在费用成本与业务效果间做好平衡。不管你在意极致的弹性计算资源需求还是更重视成本或基线，合理的选择就能让你花更低的成本获得更高的业务价值。讲师介绍海清， 阿里云智能 高级产品经理

智能推荐在电商的经典打法与实践： 阿里巴巴搜索推荐产品团队带来系列公开课，教你提高运营效率，精准匹配海量用户喜好。

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍申毅杰，StreamNative资深工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍侯鑫磊，中国农业银行研发中心高级研发工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场