大数据&AI产品月刊【2023年5月】

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 大数据&AI产品技术月刊(2023年5月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布


【云原生大数据计算服务 MaxCompute】新功能 - 支持更改表结构功能正式发布    

支持用户修改表结构,包括:新增复杂列,删除列,更改列顺序以及更改列数据类型。


【云原生大数据计算服务 MaxCompute】新功能 - 包年包月二级配额(Quota)调度策略管理功能发布    

MaxCompute支持用户查看与设置包年包月二级配额(Quota)的调度策略,以实现资源的合理分配。


【云原生大数据计算服务 MaxCompute】新功能 - 支持PIVOT和UNPIVOT关键字    

MaxCompute支持PIVOT和UNPIVOT关键字,实现行列互转功能,简化用户SQL代码。


【云原生大数据计算服务 MaxCompute】新功能 - 支持通过TABLESAMPLE对表数据进行采样    

MaxCompute支持通过TABLESAMPLE对表数据进行采样,方便用户对表数据按不通采样方式进行采样。


【云原生大数据计算服务 MaxCompute】新功能 - 支持使用QUALIFY过滤窗口函数的结果    

MaxCompute支持使用QUALIFY语法根据您指定的过滤条件过滤窗口函数的结果,简化用户SQL代码。


【云原生大数据计算服务 MaxCompute】新功能 - 支持将数据带表头写入OSS的CSV文件    

MaxCompute支持将数据写入OSS的CSV文件中时,指定第一行为表头名称。


【云原生大数据计算服务 MaxCompute】新功能 - 支持TableStore外表指定PutRow方式写入    

MaxCompute支持Tablestore外表新增PutRow写入方式。


【云原生大数据计算服务 MaxCompute】新功能 - 新增多个内建函数    

MaxCompute新增4个数学函数,3个时间日期相关函数和1个字符串函数,使用内建函数简化用户SQL代码。


【云原生大数据计算服务 MaxCompute】新功能 - 物化视图支持定时刷新数据    

物化视图支持多种定时方式刷新数据,让物化视图能保持更新鲜的数据供用户使用。


【云原生大数据计算服务 MaxCompute】新功能 - SQL提供内建加密函数和解密函数

MaxCompute SQL提供内建加密函数和解密函数,支持用户手工对表的列进行加密或者解密操作。


【大数据开发治理平台 DataWorks】新功能 - 大数据公共数据集上线    

基于大数据公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等),快速完成TB级数据分析。


【大数据开发治理平台 DataWorks】新地域/可用区  - 智能数据建模新增马来西亚与印度尼西亚Region    

智能数据建模新增马来西亚与印度尼西亚Region,智能数据建模沉淀阿里巴巴数据中台建模方法论,以维度建模为基础,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行诠释,让数据仓库的建设向规范化,可持续发展方向演进。


【大数据开发治理平台 DataWorks】新功能 - 数据分析支持查询结果百万级数据下载

数据分析SQL查询下载条数默认1万条,按照不同的DataWorks增值版本可以下载最大百万级数据。


【大数据开发治理平台 DataWorks】新功能 - 数据分析结果直接保存为MaxCompute表

数据分析结果无需通过代码创建表,可以直接保存为MaxCompute表,进行后续查询或联合分析。


【检索分析服务Elasticsearch版】新版本/新规格 -开发者规格发布,成本下降60%

阿里云检索分析服务Elasticsearch版发布开发者规格,基于开源8.5版本,对向量搜索、索引压缩和查询优化等场景进行了大量增强,同时成本下降60%,大幅降低用户使用门槛和测试成本,欢迎广大开发者购买体验!


【开源大数据平台 E-MapReduce】新功能 - Serverless StarRocks商业化发布    

2023年06月01日起,,EMR Serverless StarRocks在各地域上线。


【开源大数据平台 E-MapReduce】新功能 - 支持倚天云服务器(邀测中)    

阿里云E-MapReduce(简称EMR)支持通过倚天云服务器构建开源大数据集群。


【开源大数据平台 E-MapReduce】新功能 - 查看集群日报与分析    

EMR Doctor 新增YARN引擎分析,多维展示集群资源分配和使用情况,辅助提升资源利用率;增加集群计算分析和存储分析等。


【实时计算 Flink版】新版本/新规格 - 首发Apache Paimon及Flink Machine Learning预览型功能|全网分步灰度发布平台新版本    

提供Apache Paimon 及Flink Machine Learning预览型功能,同时平台优化改版,全面提升用户使用体验。


【智能推荐 AIRec】新功能 - 新增推荐置顶与坑位运营功能    

置顶和坑位策略支持干预特定位置的推荐结果,帮助运营人员将选出的物品强制曝光。


二、产品活动


阿里云大数据计算&机器学习产品免费试用上线!

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。


三、产品快讯


阿里巴巴宣布加入 Linux Foundation AI&Data 基金会,捐赠首个开源项目 DeepRec

近日,阿里巴巴宣布加入 Linux Foundation AI&Data 基金会,持续加大对 AI 和大数据技术的投入以促进相关开源建设。阿里巴巴是 Linux 的活跃开发者,此前已经为 Linux 内核提交了 290 多个 Patch。除了 Linux 之外,阿里巴巴在 MySQL、JVM、Web 服务器等知名项目中均有杰出贡献,也是开源组织 WebScaleSQL 的 5 大成员之一。此次,在加入 Linux Foundation AI&Data 基金会的同时,阿里巴巴也积极地回馈社区,将面向推荐场景的高性能深度学习框架 DeepRec 捐赠给 Linux Foundation AI&Data 基金会托管。


阿里云智能数据湖入选第六届数字中国建设峰会“十大硬核科技”    

近日,第六届数字中国建设峰会在福建福州举办,阿里云首创并推动的智能数据湖解决方案因“引领业界技术上创新”入选本届峰会的“十大硬核科技”,这也是历届峰会中首次有数据湖产品入选。智能数据湖是阿里云在大数据和 AI 融合的时代背景下推出,底层融合存储和计算全新技术体系,业务侧融合多元计算,对接数据科学计算引擎。支撑在线教育、互联网广告、新媒体、网络游戏等近万家行业用户在快速发展过程中的业务需求,为企业数字化转型提供源动力。

image.png


MaxCompute 发布“物化视图智能推荐”,CU 算力节省 14%    

近日,主题为“智在江苏,为创新提速”的 2023 阿里云峰会在江苏省常州市召开。阿里云 MaxCompute 在飞天发布时刻推出了“物化视图智能推荐”功能,这一功能的发布将节省 CU 算力 14%,进一步提升了 MaxCompute 在大数据计算能力方面的领先地位。


机器学习平台 PAI 支持抢占型实例,模型服务最高降本 90%    

在 AI 开发及服务不断追求效率的背景下,阿里云机器学习平台 PAI 宣布支持抢占型实例(Spot Instance)。在模型推理环节,用户可以通过 PAI-EAS 模型在线服务平台灵活选择抢占型实例来运行推理时延相对不敏感的任务,进而节省服务成本,同等机型的抢占型实例与按量付费实例相比,最高可实现 90% 的成本优化。


PAI-Diffusion 中文模型全面升级,海量高清艺术大图一键生成    

阿里云机器学习 PAI 团队之前开源了 PAI-Diffusion 系列模型,包括一系列通用场景和特定场景的文图生成模型。但由于 Diffusion 模型推理速度比较慢,而且需要耗费较多的硬件资源,我们结合由 PAI 自主研发的编译优化工具 PAI-Blade,支持对 PAI-Diffusion 模型的端到端的导出和推理加速,在 A10 机器下做到了 1s 内的中文大图生成。在本次的工作中,我们对之前的 PAI-Diffusion 中文模型进行大幅升级,详细介绍 PAI-Diffusion 中文模型的新功能和新特性。


四、产品学习指南


【最佳实践】使用 PAI-Blade 优化 Stable Diffusion 推理流程(一)    

AIGC 是人工智能计算领域里发展迅速的重要业务。Stable Diffusion 是其中最热门的开源模型,受到广泛关注。然而,随着应用场景不断扩大,Stable Diffusion 所面临的推理时延和计算成本问题也越来越突出。本文以社区流行的 "runwayml/stable-diffusion-v1-5" 的 Text2Img pipeline 为例,详细介绍 PAI-Blade 在各类使用场景下的推理优化。


【最佳实践】使用 PAI-Blade 优化 Stable Diffusion 推理流程(二)    

本篇继续介绍使用 PAI-Blade 优化 LoRA 和 Controlnet 的推理流程。同时,我们将介绍 Stable-Diffusion-webui 中集成 PAI-Blade 优化的方法。PAI-Blade 在 Stable Diffusion 模型上的优化经验,目前已经支持了 Diffusers 和 Stable-DIffusion-webui 两种主流推理方式。


【客户案例】水滴筹基于阿里云 EMR StarRocks 实战分享    

水滴创立于 2016 年,致力于为用户提供健康保障解决方案。针对如组件维护困难,数据冗余存储,数据收口和出口不统一等情况,基于几个组件的使用和综合考虑,水滴最后决定将 StarRocks 作为最终的 OLAP 引擎,用于解决各业务线对数据高效实时数据查询和数据统计分析的需求。


【客户案例】HashTable 在蚂蚁转化归因中的极致运用    

蚂蚁的转化归因在初期运行两个多小时的情况下,进行了一系列优化,其中建立 hash cluster 表及强制 hash 关联及 Shuffle 的手动干预进行 remove 操作此部分优化占了较大比重。本文则主要讲述 hash cluster 表的一些运用。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
3天前
|
存储 人工智能 分布式计算
大数据& AI 产品月刊【2024年10月】
大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
23天前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
557 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
13天前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
66 10
|
1月前
|
消息中间件 人工智能 Cloud Native
|
1月前
|
人工智能 分布式计算 大数据
大数据&AI产品月刊【2024年9月】
大数据& AI 产品技术月刊【2024年9月】,涵盖本月技术速递、2024云栖大会实录、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
17天前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
33 0
|
29天前
|
SQL 运维 大数据
大数据实时计算产品的对比测评
在使用多种Flink实时计算产品后,我发现Flink凭借其流批一体的优势,在实时数据处理领域表现出色。它不仅支持复杂的窗口机制与事件时间处理,还具备高效的数据吞吐能力和精准的状态管理,确保数据处理既快又准。此外,Flink提供了多样化的编程接口和运维工具,简化了开发流程,但在界面友好度上还有提升空间。针对企业级应用,Flink展现了高可用性和安全性,不过价格因素可能影响小型企业的采纳决策。未来可进一步优化文档和自动化调优工具,以提升用户体验。
109 0
|
30天前
|
SQL 存储 监控
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
42 0
|
人工智能 物联网 语音技术
云知声推多款医疗 AI 产品,病历生成与质控产品今年将站 C 位
云知声的战略是把在垂直行业积累的AI技能放在云端,通过芯片去赋能设备端的边缘计算能力,进而把云端的技术向设备端进行输出。
2447 0

热门文章

最新文章