大数据&AI产品月刊【2023年4月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊(2023年4月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute 】新版本/新规格 - 新人特惠规格发布

MaxCompute在阿里云免费试用中心推出新人特惠规格,提供一定的计算和存储免费额度方便新客进行产品核心能力体验。


【云原生大数据计算服务 MaxCompute 】新功能 - 新版作业运维发布    

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理,同时满足查看作业快照信息和作业当前信息。


【云原生大数据计算服务 MaxCompute 】新功能 - 推出向量计算引擎Proxima CE    

Proxima CE是超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等。


【云原生大数据计算服务 MaxCompute 】新功能 - 物化视图加速    

物化视图加速可以自动推荐创建物化视图SQL脚本,方便用户快速创建物化视图,减少重复计算,减少计算资源。


【云原生大数据计算服务 MaxCompute 】新功能 - 支持External Volume非结构化数据存储能力    

External Volume是MaxCompute提供的非结构化大数据存储方案,是OSS路径在数仓中的映射和管理对象

【云原生大数据计算服务 MaxCompute 】新功能 - 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据    

MaxCompute支持使用Spark和MapReduce任务在仓内处理基于OSS的External Volume中的非结构化数据。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心新增存储长生命周期治理项    

存储长生命周期治理项可帮助用户对于MaxCompute分区表合理设置生命周期,减少存储资源的浪费。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心支持治理问题消息通知    

管理员及个人用户可以将治理工作台中每日治理待解决的问题以消息通知的形式,通过系统提示、邮件、钉钉群、Webhook等方式发送。


【大数据开发治理平台 DataWorks 】新功能 - 数据服务加速服务开始商业化    

加速服务面向MaxCompute数据源生成在线API服务,无需导出MaxCompute数据,即可提供良好的查询性能与效率。


【实时数仓 Hologres 】新版本/新规格 - 开发者体验版本发布    

欢迎新客户免费体验Hologres产品能力。


【检索分析服务 Elasticsearch版】新功能 - Elasticsearch Serverless支持自建Grafana可视化    

支持自建Grafana 对接Elasticsearch Serverless,实现指标数据灵活查询分析与可视化。


【开源大数据平台 E-MapReduce 】新功能 - Serverless StarRocks免费公测版发布

EMR Serverless StarRocks公测版面向所有用户开放,可以直接通过控制台创建入门版实例,进行免费测试。


【开源大数据平台 E-MapReduce 】新功能 - 支持控制台可视化管理YARN分区    

EMR支持在控制台上通过可视化UI管理YARN分区,同时可以批量建立节点组与分区的映射,方便操作。


【实时计算 Flink版】新功能 - Flink引擎VVR 6.0.6版本发布以及平台改版、连接器更新、性能优化    

发布Flink全托管的新版本,包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。


【机器学习 PAI 】新功能 - EAS重磅发布GU系列异构GPU资源规格    

PAI推出全新的General Unit(简称GU)系列规格,与PAI传统的实例规格相比,同等性能的实例规格价格优惠近45%。


【机器学习 PAI 】新功能 - EAS全新快捷服务部署控制台上线    

EAS全新快捷部署控制台上线,一键部署AI服务或应用,降低部署门槛。


【机器学习 PAI 】新功能 - EAS发布弹性资源池功能    

EAS发布弹性资源池功能,保证服务扩容时,不受专属资源组机器资源的限制。


【智能开放搜索 OpenSearch 】新功能 - 图片转向量、数据压缩、公网访问功能发布    

智能开放搜索OpenSearch向量检索版推出图片转向量、数据压缩、公网访问功能,为用户提供更便捷的向量搜索服务,降低使用成本。

二、产品快讯

阿里云大数据计算&机器学习产品免费试用上线!    

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。


AI推理服务平台升级,阿里云机器学习PAI推出新规格    

近日,阿里云机器学习平台PAI宣布全面升级模型服务平台PAI-EAS,面向文图生成、大语言模型等各类模型提供弹性稳定的推理服务,并推出全新规格GU30。新推出的PAI-EAS GU30系列规格,专用于深度学习异构推理场景,较PAI-EAS同等性能的传统规格价格下降45%。

image.png


阿里云机器学习PAI发布基于HLO的全自动分布式系统TePDist,并宣布开源!    

近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统 TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。


阿里云EMR Serverless StarRocks公测正式开启!    

阿里云EMR Serverless StarRocks 免费公测已开启,向所有用户开放!您可通过EMR控制台直接创建实例,轻松体验全托管、免运维的服务。 EMR Serverless StarRocks 是由阿里云EMR全新推出的 Serverless StarRocks 服务,StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。可广泛应用于BI报表分析、OLAP报表、数据湖分析、实时数据接入及分析等场景。


阿里云Elasticsearch自研智能存储引擎能力再升级,索引存储大小降低超40%!    

在Elastic中国开发者大会2023上,阿里云首次对外公开Elasticsearch全面Serverless化背后的产品技术架构,阿里云Elasticsearch依靠云原生底座技术升级,持续进行内核优化,并在日志场景大幅提升使用性价比,向用户提供更简单、更稳定、更弹性的搜索云服务。

三、产品学习指南

【产品运维】eBPF动手实践系列一:解构内核源码eBPF样例编译过程    

了解和掌握纯c语言的ebpf编译和使用,有助于加深对于eBPF技术原理的进一步掌握,也有助于开发符合自己业务需求的高性能的ebpf 程序。今天选择基于4.18内核的基于内核源码的原生编译方式做进一步分析。


【产品运维】通过云监控CloudMonitor实时捕获EMR集群的状态变化    

本文演示如何捕获EMR集群状态变更并发送到当前常用的“钉钉”手机客户端,通过结合CloudMonitor以及FC,可以实时捕获EMR集群的生命周期变化,如集群的创建和停止,扩容和缩容以及其他类型的集群状态变更等。


【最佳实践】展心展力metaapp:基于DeepRec的稀疏模型训练实践

metaapp-推荐广告研发部,是比较传统的推广搜组。原先采用的TensorFlow+自研分布式 ps方案,迭代和维护成本都比较高。经过多方考量,采用阿里云机器学习PAI开源的DeepRec,针对稀疏模型在分布式、图优化、算子、Runtime等方面进行了深度的性能优化,并且完全开源,取得了显著的性能提升和成本下降。


【最佳实践】OpenSearch图搜图、文搜图向量检索最佳实践    

本文介绍如何通过OpenSearch【向量检索版】帮助企业在没有向量数据的情况下快速搭建图像搜索服务,解决图片向量化、向量搜索等检索难题,实现以图搜图、以文搜图等多种图像检索能力。并通过数据压缩功能,降低存储空间,降低业务成本,为企业提供效果、性能双保障。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
83 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
22天前
|
人工智能 算法 测试技术
AI 研发产品进化论:从 AI 编码助手到 AI 程序员
本次分享由阿里云资深技术专家陈鑫主讲,主题为“AI研发产品进化论:从AI编码助手到AI程序员”。内容涵盖通义灵码在落地过程中的挑战与突破,包括精准度提升、企业级检索增强、自定义扩展及智能体的应用。通过全工程理解、个性化适配和智能体的引入,通义灵码已实现代码补全、单元测试生成、缺陷修复等核心功能,并显著提升了开发者的工作效率。目前,通义灵码已在Vs Code和JetBrains插件市场上获得超过500万次下载,月均采纳率超过30%,并持续优化中。
65 9
|
24天前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
53 7
|
1月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
22天前
|
人工智能 IDE 程序员
从 AI Coding 演进路径看通义灵码 AI 程序员的发布,让更多 idea 变成产品
通义灵码 2.0 不仅正式发布 AI 程序员,还升级了很多基础能力,使用场景多样。繁星计划的推出更为大学生提供了免费的智能编码助手,助力科技创新。让不具备编码能力的人也可以将 idea 变成产品,帮助到更多开发者和泛开发者。
|
29天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
95 1
|
24天前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
23天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
19天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
161 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute