作者：MaxCompute PD 振策
前言
随着阿里云MaxCompute4.0的产品新版本发布，越来越多的MaxCompute产品新能力被客户广泛关注，包括近实时查询/湖仓一体&开放架构/容灾备份等。在此我们对外整体介绍一下MaxCompute FY25-Q1产品新功能，帮助更多用户借此了解MaxCompute4.0云原生数仓新版本的重点产品特性，核心竞争力与典型用户场景等信息。
01 产品简介
首先，我们整体介绍一下基于云原生大数据计算服务MaxCompute产品的五大核心产品竞争能力。其产品竞争力的打磨与沉淀是基于MaxCompute产品在大数据/数据仓库领域多年以来的持续技术产品投入与深度客户服务。从客户的数据分析业务场景而来，通过不断的产品改进与竞争力提升，再反哺应用满足到客户不断发展的业务需求理。是真正意义上，懂客户，懂场景，懂应用的云原生智能数据仓库产品。
其一，是Serverless云原生特性与弹性服务，MaxCompute作为完全建立在云平台之上的自研数仓产品。深度应用并强化 成本/弹性/托管 三个Serverles特性，构建云原生数仓差异化产品体验。
其二，是从MaxCompute湖仓一体2.0到开放架构的演进能力。为用户提供更加广泛的湖仓融合的开放技术体系，同时实现满足数据湖仓的灵活性、开放生态兼容的企业级能力。
其三，是MaxCompute不断增强的离线计算/近实时计算/AI数据处理等多场景计算优化能力。保持在云数仓智能计算能力的领先地位。
其四，是MaxCompute对比开源大数据的差异化优势-企业级稳定安全能力。其中包括TopConsole可观测性，作业性能优化，容灾备份等特性。
其五，是MaxCompute在Data+AI协同一体的产品创新优势。支持Data for AI和AI for DW等多场景下的智能化数仓产品能力。
MaxCompute产品通过围绕以上5大产品核心竞争力的持续优化与不断提升，将MaxCompute4.0在云原生数仓领域的产品能力与用户场景深度结合，为各类用户提供领先行业的高性价比，多场景数据处理与计算分析的智能化服务。
产品竞争力1-Serverless弹性资源计算能力
基于MaxCompute数仓的天然云原生属性，其在成本/弹性/运维层面提供非常深度的差异化产品特性，以实现极致性价比下的云资源精细化管理与应用能力。
在成本侧，按需付费与节省计划，可以按照用户计算/存储真实使用收费。如图2所示的是基于历史及预测的成本优化计划功能。
在弹性侧，对不同资源调用与管理，MaxCompute提供灵活的弹性资源能力。其中包括多种资源组合，预付费升降配+分时弹性CU用于相对固定资源与按需弹性资源叠加应用场景，按量付费+SpotJob则用于最大限度的动态计算资源利用，海量数据计算分析。
在运维托管侧，自动化的轻运维，无服务器的虚拟云数据仓库（CDW）管理，无需过多人工运维参与。简化数仓使用体验，即开即用。
总结来说，灵活的弹性资源计费 / 集群级别计算资源动态扩缩容与隔离/ 多维度的成本优化能力，包括成本分析优化+ECS资源复用版。MaxCompute云原生数仓在成本/弹性/托管三维度的产品特性将Serverless云原生数仓属性发挥到极致。
产品竞争力2-面向湖仓一体的开放架构演进
过去三年，随着MaxCompute湖仓一体的逐步发展与深入，MaxCompute湖仓一体从1.0到2.0的多次迭代。如今，MaxCompute开始将其湖仓一体LakeHouse能力深度整合数据湖与自有数仓应用，在内外表查询分析/支持主流数据格式/开放接口OpenAPI等多方面的产品改进。
从MaxCompute湖仓一体2.0到开放架构的演进，可以被理解为三个层面的进化：
第一个层面是开放LakeHouse湖仓一体能力建设。支持联邦数据湖(OSS/HDFS),支持开放LakeFormat湖格式，支持主流数据格式Parquet&ORC , 非结构化数据处理能力扩展等。
第二个层面是MaxCompute全新开放架构升级。元数据服务BigMeta / 开放存储StorageAPI / 统一表格式DeltaTable。借助统一元数据与数据高性能读写API的组合，来完善MaxCompute开放生态技术体系。
第三个层面是MaxCompute生态兼容产品能力。开放接口OpenAPI / 对第三方开源引擎兼容访问，包括Spark等 / 兼容第三方BI&ETL工具。
大数据数仓走向成熟的过程中，开放能力越来越被关注与重视。MaxCompute的开放架构在支撑发展MaxCompute自身产品特性的同时，完善与升级MaxCompute与行业主流技术的开放融合能力。
产品竞争力3-多场景计算优化
MaxCompute在计算优化与引擎优化层面的产品能力是一直是其的核心竞争力优势。从native runtime, No Flag引擎优化到MaxCompute近实时增量处理引擎DeltaTable，原名叫ACID2.0。
MaxCompute DeltaTable整体产品架构的设计改进主要集中在五个模块：实时数据接入、增量计算引擎、自动数据优化服务，元数据管理，数据文件组织。实现全链路近实时数据处理与查询分析能力。
- 实时数据接入：主要支持各种数据源全量和近实时增量导入功能。MaxCompute联合相关产品定制能力，开发多种数据接入工具，例如MaxCompute定制开发的Flink Connector，DataWorks的数据集成等，用来支持高效的近实时增量数据导入。
- 自研SQL计算引擎: 主要包含MC自研的SQL引擎优化，负责TimeTravel和增量场景下的SQL DDL/DML/DQL的语法解析,优化和执行链路。
- 自动数据优化服务: 主要由MaxCompute的Storage Service来负责智能的自动管理增量数据文件，其中包括小文件合并Clustering，数据Compaction，数据排序等优化服务。对于其中部分操作，Storage Service会根据数据特征，时序等多个维度综合评估，自动执行数据优化任务，尽可能保持健康高效的数据存储和计算状态。
- 统一元数据管理: 主要负责增量场景下数据版本管理，TimeTravel管理，事务并发冲突管理，元数据更新和优化等。
- 数据文件组织: 主要包含对全量和增量数据文件格式的管理以及读写相关的模块。
产品竞争力4-全栈稳定安全可靠
众所周知，MaxCompute作为自研云原生数据仓库产品，其企业级全栈稳定可靠能力是MaxCompute核心差异化优势企业能力。在这里，我们分享以下关键稳定性能力：
- 不停机无感滚动热升级-任务零中断
- 跨Region统一调度
- 支持自动容错、隔离替换，提供无感系统运维升级
- 提供多维度容灾备份能力，其中包括本地备份(昆仑镜)，跨地域灾备，同城跨AZ容灾切换能力
- 可观测性-支持全面监控报警能力，作业性能观测与作业分析
MaxCompute多年以来在全栈稳定性的企业级特性不断投入，让其在数仓产品领域具有着独一无二的企业级产品优势。
产品竞争力5-智能化Data+AI产品能力建设
在AI发展如火如荼的当下，云数仓与AI的结合与应用是MaxCompute产品发展的重要方向。MaxCompute在Data+AI方面做出多层面的产品创新投入。其主要可以分为两个维度：
维度一是Data for AI应用。通过云原生大数据预处理能力，为大模型等AI深度学习场景提供数据AI整合能力。
基于分布式Python计算框架MaxFrame的数据预处理，提供交互式开发Notebook / 统一数据管理 / 统一镜像管理，构建&生产&加载常用镜像与自定义镜像等能力，为AI训练/推理提供全流程数据处理支撑。MaxFrame在通义等大模型场景下广泛使用。其特性包括Pandas兼容DataFrame，使用StorageAPI对接存储，支持SQL/Mars/Python/PAI不同分布式计算框架，自动圈定算子使用不同计算框架。
维度二是AI for DataWarehouse应用。向内生长，借助AI智能特性来改进MaxCompute云原生数仓自动管理与优化能力。这是当今AI在DataWarehouse的智能改进是重要发展方面。MaxCompute的智能数仓计算在以下五大维度的产品改进，帮忙MaxCompute发展从云原生数仓进化到云原生智能数仓能力。
- 智能物化视图：物化视图智能推荐/增量MV/AutoMV。根据数据表关系，推测影响指数高的物化视图，帮忙用户智能实现查询优化。
- 资源分配优化：最多跑一次，适用于周期性作业的HBO优化器。基于HBS的资源分配优化。
- 执行计划优化：通过周期性作业HBS(History Based Stats)来提升执行计划。MaxCompute基于Learning to rank增强优化器能力。
- 数据排布优化：Auto Cluster Table推荐，智能优化数据排布策略。
- 作业管理优化-规划中：Query Prediction Framework查询优化框架, 预测作业资源消化，优化作业处理效率。
02 MaxCompute 产品新发布介绍
MaxCompute 2024年Q1所新发布主要产品能力较多。其核心围绕着上文所阐述的5大核心产品竞争力的持续增强而展开。在此给大家大致介绍其产品新功能特性。
在弹性云原生Serverless方面：MaxCompute推出了计算成本优化产品功能全球正式发布，以及分层存储功能实现分层生命周期。
在湖仓一体与开放架构方面：产品改进主要在3个，分别是简化了对外表的数据应用，OSS外表查询性能优化，物化视图支持引用外表。
在多场景计算优化方面：产品新功能改进多达12个，重点在于近实时查询与增量计算DeltaTable的增强，整合MC与Hologres查询优化，不断增强的数据类型/函数/索引等数仓能力。
在全栈稳定安全方面：产品新发布主要有5个,重要发布有同城灾难恢复一期邀测 / 可观测性-作业智能改进：作业性能观测与作业分析功能发布。
在智能化Data+AI方面：产品重要改进与发布有2个，分布式Python计算框架MaxFrame增强 和 新发布智能数仓特性之一物化视图推荐功能。
湖仓一体&开放架构-外表应用优化
MaxCompute湖仓一体2.0到开放架构。从MaxCompute引擎出发，基于经典网络访问阿里云元数据或存储服务，或通过专线网络访问到VPC中的外部数据源，建立定义外部数据源元数据和数据访问方式的管理对象，再用外部schema映射外部数据源的database或schema，实现直接访问到外部数据源database或schema范围内的全部表的能力。
在湖仓一体&开放架构方面的产品改进，MaxCompute开放架构提供外表访问应用的多层优化。
其中包括简化外表数据管理，通过SQL方式的Foreign Server和External Schema能力对接DLF、Hive、Hologres、RDS元数据，客户无需手动创建外表。大大简化了MaxCompute湖仓一体外表管理能力。
除此以外，外表查询性能优化提升3倍, 实现分区裁剪、算子下推、外表元信息收集优化执行计划能力，默认native reader和缓存等特性显著提升MC引擎访问Open Storage的查询性能。实现外表查询性能优化提升3倍有余。
官方文档：https://help.aliyun.com/zh/maxcompute/user-guide/lake-warehouse-integrated-2-0-use-guide
湖仓一体&开放架构-OSS外表缓存FDC
随着MaxC外表查询的需求越来越频繁，在此分享一下MaxCompute产品外表缓存Cache加速新能力-Fuxi Data Cache。该缓存机制可对外表性能有最高53%的提升，典型case中可将外表IO用时占比从最高~70%降到最低~21%。在配合数据格式优化(Parquet/ORC）,能够将外表查询性能提升至内表查询性能的70%作业。并提供内外表联动数据分析挖掘。
多场景计算优化-ACID2.0升级Delta Table
在多场景计算优化方面的产品改进，主要是ACID2.0升级到DeltaTable增量计算能力加强。对增量Upsert/自动Compaction等功能的增量计算功能改进。
主要增强能力包括以下能力：
- DeltaTable支持数据表进行SchemaEvolution模式演进
- Delta Table支持部分列更新
- Delta Table TableScan性能优化
- Delta Table增量查询语法增强，基于Stream流式对象查询
- Delta Table支持FlinkCDC数据库实时同步写入
- Delta Table支持DataWorks实时数据同步写入
这里分享三个DeltaTable新特性应用
一是DeltaTable增量查询能力：增量数据读取，支持自动管理增量数据版本。
二是利用DeltaTable PK点查优化: 通过Bucket/File裁剪，有效降低计算资源几十上百倍+
三是利用DeltaTable PK特性来实现查询Plan优化：通过PK unique/distribute属性/sort属性等特性优化算子排布，性能提升1倍以上。
官方文档：https://help.aliyun.com/zh/maxcompute/user-guide/architecture-principles
全栈稳定安全-同城容灾功能一期(邀测中)
全栈稳定安全方面的产品改进，重要发布是同城3AZ容灾切换功能一期上线。
同城跨AZ容灾功能是要MaxCompute项目从单个可用区扩展到同城的3个可用区，提供灾难发生时数据的完整性和可用性保障。
开启同城容灾后，数据将实时同步写入到3个AZ部署的存储服务，并在1个主AZ中提供计算服务。
当灾难发生时，备用AZ的存储服务保障数据零丢失（RPO=0），计算服务中断，需系统运维后台支撑备用AZ分配计算资源。计算服务恢复后客户重新提交任务，业务恢复时长小时级。
全栈稳定安全-数据动态脱敏
全栈稳定安全方面的产品改进之数据动态脱敏能力
MaxCompute提供数据动态脱敏功能，用于业务开发测试、数据共享、运维等场景中对个人身份信息（PII）等敏感数据以脱敏展示的方式进行保护。数据脱敏策略支持掩码、散列、字符替换、数值取整、日期取整等脱敏策略，支持与数据保护伞的数据分类分级功能联动，满足用户对身份信息、银行卡号、地址、电话等数据的脱敏需求。
MaxCompute数据脱敏在最靠近数据从存储中读取的环节中实现，确保数据在查询、下载、关联、UDF计算时已经处于脱敏状态，避免敏感数据泄露风险。
官方文档：https://help.aliyun.com/zh/maxcompute/security-and-compliance/dynamic-data-masking
全栈稳定安全-行级别权限控制
全栈稳定安全方面的产品改进之行级别权限控制能力
为了便于控制用户或角色对MaxCompute表中特定数据的访问权限，MaxCompute提供了行级访问权限控制功能，通过在原表上定义用户与数据（被允许访问的数据）的匹配规则，控制特定用户或角色仅可见其有权限访问的数据，从而提升数据安全性和合规性。
行级访问权限控制功能简化了管理者授权用户访问特定表数据的操作流程，无需搬移、复制数据，或创建、维护视图，即可实现特定的用户只能访问其被授权访问的数据行的数据权限能力。
行级访问权限控制功能适用于以下场景：
SQL查询/通过Tunnel下载表数据/通过外部引擎（如Spark、Flink）读取表数据。
官方文档：https://help.aliyun.com/zh/maxcompute/user-guide/perform-row-level-access-control
全栈稳定安全-作业性能观测+作业分析优化
全栈稳定安全方面的产品改进，可观测性增强也非常重要。MaxCompute重点投入在作业可观测性方面工作上，近期发布 作业性能观测+作业分析优化组合功能 帮忙用户自助完成大作业/慢作业的性能观测与分析优化。
- 对于计算作业，可通过整体作业运行相关指标（如作业数量、CU用量及作业运行时长）查看是否存在作业数量异常激增、资源用量异常激增等问题，并判断作业性能是否符合预期。
- 针对异常作业，可以进行单作业分析，资源消耗图展示作业级别的使用CU与等待CU随时间的变化曲线图，以及作业运行的Quota级别的使用CU与等待CU随时间变化。若发现作业使用CU较低，而Quota级别使用CU较高，甚至持续达到上限，说明Quota资源紧张，有其他作业在与当前作业抢占计算资源。
- 用户可以通过单击资源消耗图横轴的时间点，查看对应时刻计算Quota级别的资源分配情况，具体为所有运行中、等待中的资源分配给的作业数量与优先级分布，可以单击目标优先级对应的色块跳转至作业列表，查看对应作业的详细信息。以此判断出具体是哪些作业在与当前作业抢占计算资源。您可以依据业务情况优化任务执行情况，进行对应的作业优先级调整或计算资源管理。
官方文档：https://help.aliyun.com/zh/maxcompute/user-guide/manage-jobs-in-the-new-maxcompute-console
智能化Data+AI-物化视图推荐
智能化Data+AI方面的产品改进，已发布物化视图推荐功能。此是MaxCompute智能数仓重要产品Feature的实现之一。
物化视图推荐是基于物化视图预计算实现智能化查询加速能力。通过查询特征分析 / 物化视图推荐 / 物化视图存储 / 数据刷新 / 查询自动改写 帮助用户在纷繁复杂的数据结构中智能优化查询计算性能。
物化视图推荐的列表中包含可影响SQL数 /推荐程度 等指标 来描述推荐生成的物化视图的重要匹配程度。帮助用户便捷运用适合的物化视图来明显优化计算性能。
官方文档：https://help.aliyun.com/zh/maxcompute/user-guide/materialized-views
智能化Data+AI-自定义镜像管理功能
智能化Data+AI方面的产品改进，在Data for AI场景下的自定义镜像管理功能发布。
在SQL或Python开发过程中，会存在较为复杂的业务逻辑，依赖三方包众多，引用资源复杂。因此MaxCompute提供丰富镜像管理功能，内置镜像仓库(保存用户常用镜像、支持用户自定义镜像)。并推出自定义镜像管理功能，可为用户提供自由、灵活地使用Docker镜像来构建自己所需的完整开发环境，并在MaxCompute SQL、Python（PyODPS或MaxFrame）开发环境中使用。
官方文档：https://help.aliyun.com/zh/maxcompute/user-guide/custom-image
智能化Data+AI-Notebook与MaxFrame集成
智能化Data+AI方面的产品改进，在Data for AI场景下的Notebook与MaxFrame集成功能已发布。
MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过MC SQL、PyODPS、MaxFrame等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。MaxCompute Notebook基于开源JupyterLab进行了深度优化，结合MaxCompute强大的数据处理能力帮助用户一站式完成数据分析、挖掘及探索等工作。
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算。您可利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。
Notebook官方文档：https://help.aliyun.com/zh/maxcompute/user-guide/maxcompute-notebook-instruction
MaxFrame官方文档：https://help.aliyun.com/zh/maxcompute/user-guide/maxframe-overview-1
03 总结
以上就是MaxCompute 2024年上半年产品新发布总结。MaxCompute持续地在其产品核心竞争力上不断深耕与迭代改进。MaxCompute在新的一年后续为广大用户提供更加优质且有竞争力的产品新功能与特性，敬请期待！
MaxCompute 用户交流钉群
