大数据&AI产品月刊【2024年3月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊【2024年3月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。



一、产品功能发布


【人工智能平台 PAI】新地域/新可用区-PAI 灵骏智算服务国际站(新加坡区域)正式开服

新增开通国际站新加坡地域。

 

【人工智能平台 PAI】新功能/规格 - DSW支持用户进行AI+大数据开发

帮助客户实现基于notebook的AI+大数据开发一体化体验。

 

【人工智能平台 PAI】新功能/规格 - DSW发布文件中转站功能

DSW新增文件中转站功能,提升用户大文件上传效率。


【人工智能平台 PAI】新地域/新可用区 - PAI 通用计算类型(乌兰察布区域)正式开服

PAI AI计算资源组的通用计算资源在乌兰察布正式开服,用户可以基于通用计算类型算力在PAI平台上实现开发(DSW)、训练(DLC) 等相关功能。


【云原生大数据计算服务 MaxCompute】新功能/规格 - MaxCompute分布式计算框架MaxFrame发布

MaxFrame是由阿里云自研的分布式计算框架,提升Python开发体验


【云原生大数据计算服务 MaxCompute】新功能/规格 - 镜像管理

降低用户镜像、UDF使用及环境准备的成本,提升用户的开发及使用体验。


【云原生大数据计算服务 MaxCompute】新功能/新可用区 - MaxCompute产品在华北6(乌兰察布)正式开服

MaxCompute产品新增开通华北6(乌兰察布),提供企业级Serverless智能数仓服务,可以在控制台上按需求开通。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 - 跨地域灾备邀测发布

MaxCompute提供跨地域(Region)灾备功能,以提升数据安全性。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 - 控制台发布SQL分析

MaxCompute控制台发布SQL分析方便快速体验核心SQL引擎能力。


【云原生大数据计算服务 MaxCompute】新功能/规格 - ECS资源复用版发布

在客户层面提高云上产品资源利用率,降低整体上云成本。


【实时数仓 Hologres】功能优化 - Hologres支持实例级别的SQL诊断

可通过SQL诊断对不同维度的趋势、明细、汇总分析诊断当前实例SQL情况。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 支持将本地CSV或OSS文件上传至MaxCompute

提供了便捷的本地CSV、OSS数据上传功能。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 数据地图新增数据开发代码搜索

数据地图新增数据开发代码搜索功能,支持跨工作空间进行全局代码检索。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 数据服务新增支持实例模式的StarRocks数据源

支持面向StarRocks数据源来快速封装数据API,实现数据共享与开放。

 

【开源大数据平台 E-MapReduce】新功能/新可用区 - StarRocks 在香港和新加坡正式开服

EMR Serverless StarRocks 新增开通香港、新加坡地域,客户可以在控制台上按需求开通集群。

 

【开源大数据平台 E-MapReduce】新功能/规格 - 支持控制台代理创建并管理OSS-HDFS Bucket

在EMR控制台创建集群时,支持代理创建OSS-HDFS Bucket。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版控制台支持增删数据

支持客户通过控制台直接增删数据,并实时查看数据状态,提升体验及接入效率。

 

【实时计算 Flink版】新功能/规格 - MongoDB连接器功能优化

表结构变更同步,MongoDB作维表。


【实时计算 Flink版】新功能/规格 - 支持MongoDB Catalog

在Flink作业开发中直接访问MongoDB集合,无需再定义Schema。

 

【实时计算 Flink版】新功能/规格 -Hologres连接器增强

Hologres连接器支持SSL、Bulk Load写入与批量去重。

 

【实时计算 Flink版】新功能/规格 -同城高可用

支持同城灾备能力,确保作业的持续性和高可用性。

 

【实时计算 Flink版】新功能/规格 -免费监控服务

云监控为您提供基础免费监控告警能力。

 

二、产品活动


跟秋葉用PAI实现AI视频生成应用

使用人工智能PAI一键部署,零代码快速部署Stable Video Diffusion模型。


三、产品快讯


【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选

阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面,此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。

 

TorchAcc:基于 TorchXLA 的分布式训练框架

阿里云研究员、阿里云人工智能平台 PAI 技术负责人-林伟在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了TorchAcc。PAI-TorchAcc是阿里云人工智能平台PAI开发的Pytorch上的大模型训练加速框架。PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口,无需进行模型转换就可以无缝地接入HuggingFace上的模型,并用多种分布式策略进行训练加速。

 

基于 NVIDIA Megatron-Core 的 MoE LLM 实现和训练优化

阿里云资深算法专家-黄俊在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了阿里云人工智能平台 PAI 团队与 NVIDIA Megatron-Core 团队在MoE (Mixture of Experts) 大型语言模型(LLM)实现与训练优化上的创新工作。


阿里巴巴将 Flink CDC捐赠给Apache基金会,作为 Apache Flink 的子项目

2024年3月阿里巴巴正式宣布将 Flink CDC项目捐赠给Apache基金会,作为 Apache Flink 的子项目。Flink CDC简化了用户数据集成链路,目前社区 Github star 超过 5 千,用户群破万,技术也在国内外多个行业落地。

 

阿里云 EMR Serverless Spark 版免费邀测中

阿里云EMR Serverless Spark版,以Spark Native Engine为基础,旨在提供一个全托管、一站式的数据开发平台。诚邀您参与EMR Serverless Spark版免费测试,体验 100% 兼容 Spark 的Serverless 服务。

 

阿里云向量检索 Milvus 版开启公测,助力企业打造高质量 AI 服务

阿里云向量检索Milvus版是阿里云提供的Serverless Milvus全托管服务,100% 兼容开源 Milvus,提供高性能、可扩展、大规模 AI 向量数据库相似性检索服务,具备开箱即用、弹性可扩展、全链路监控告警的能力,同时提供开源 Attu 的可视化工具。诚邀广大开发者及企业用户参与公测,赋能智能检索,解锁 AI 潜能。

 

 

四、产品学习指南

【最佳实践】eBPF动手实践系列三:基于原生libbpf库的eBPF编程改进方案

为了简化 eBPF程序的开发流程,降低开发者在使用 libbpf 库时的入门难度,libbpf-bootstrap 框架应运而生,阿里云大数据运维SREWorks团队介绍了基于原生libbpf库的eBPF编程改进方案。

 

【最佳实践】AI大模型运维开发探索第三篇:深入浅出运维智能体

本文将通过HDFS集群诊断向公众展示智能体的真实场景使用,结合大量实践总结,深入浅出分析提示词(Prompt)工程框架中的问题点。其中智能体工程框架进阶思路,可为尝试大模型场景应用的企业提供可参考的经验。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
zdl
|
24天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
142 56
|
8天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
17天前
|
人工智能 自然语言处理 算法
【AI问爱答-双十一返场周直播】AI产品专家直播解读重点AI应用场景怎么用?
阿里云【AI问爱答】栏目强势回归,11月25日至28日每晚19:00,连续四天直播,涵盖AI营销、企业办公、社交娱乐及大模型推理调优四大主题,助您深入了解AI应用,解决实际问题。欢迎预约观看!
|
1月前
|
存储 人工智能 分布式计算
大数据& AI 产品月刊【2024年10月】
大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
6天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
8天前
|
人工智能 Kubernetes Cloud Native
荣获2024年AI Cloud Native典型案例,阿里云容器产品技术能力获认可
2024全球数字经济大会云·AI·计算创新发展大会,阿里云容器服务团队携手客户,荣获“2024年AI Cloud Native典型案例”。
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
25天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
198 7
|
25天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
39 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
78 1

相关产品

  • 云原生大数据计算服务 MaxCompute