大模型时代的人工智能+大数据平台,加速创新涌现

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 2023年10月31日,2023云栖大会上,阿里云副总裁、阿里云计算平台事业部负责人汪军华宣布阿里云人工智能+大数据平台升级发布,以服务大模型时代下各行各业的业务创新。

大模型和MaaS概念的出现,定义了以模型为中心的一整套AI开发新范式,而这背后日益增长的巨大算力需求,对AI工程底座提出了新的挑战。今天,大模型时代下的人工智能+大数据平台,需要具备计算效率、开发效率、处理效率为一体的高效能力,才能保障服务AI时代下的业务创新。

10月31日,2023云栖大会上,阿里云副总裁、阿里云计算平台事业部负责人汪军华宣布阿里云人工智能+大数据平台升级发布,以服务大模型时代下各行各业的业务创新


1. 高性能的AI基础设施,让计算效率达到极致

根据OpenAI测算,全球用于头部AI模型训练的算力需求以每年10倍的速度增长,计算需求处于持续爆发中。汪军华介绍,PAI灵骏智算集群在网络、存储、调度上做了深度优化,采用HPN 7.0新一代AI集群网络架构,存储计算分离架构,支持高达10万卡量级的集群可扩展规模,让超大规模集群像1台计算机般运转

软硬一体的智算服务PAI灵骏,为大规模深度学习训练场景提供稳定和高效的支撑,大模型训练任务线性加速比可达到96%,大模型训练资源可节省超50%。在稳定性保障方面,PAI灵骏智算服务配置了弹性容错训练框架AIMaster和EasyCkpt模型自动保存与恢复能力,可让千卡规模任务稳定运行3周以上。

面向大模型的推理服务场景,PAI体系化地整合模型系统联合优化、运行时优化、LLM领域优化等能力,可将大语言模型推理吞吐提升3.5倍,大幅降低推理时延。单卡推理可支持的最大上下文长度达280K,超长的上下文推理将进一步推动LLM涌现。


2. 多形态、更灵活的AI开发模式,支撑多样化需求

随着需求的不断涌现,AI开发者和AI开发需求越发细分。人工智能平台PAI 4.0发布,全面降低大模型AI开发门槛,提供完善的需求支撑,提升开发效率


不论是需要定义模型结构和开发流程的深度学习开发者群体,还是有海量大规模计算任务的群体,亦或是需要高效快速串联起训练推理任务的业务算法群体,都可以通过PAI来实现研发,包含各类热门的计算框架、开源模型和开发场景,一站式地完成开发部署。

PAI灵积为广大开发者提供了通过云上API服务,可以用于应用模型开发和开发好的模型调用,允许开发者将大模型能力迅速集成到自己的业务和应用中,在PAI-灵积平台上,开发者不仅可以找到通义系列大模型(包括通义千问,通义万相等等),也可以找到来自业界最优秀的头部大模型,包括ChatGLM,百川,Stable Diffusion等。

汪军华宣布,今天这些模型都通过PAI 灵积上统一的API和SDK对广大开发者开放,开发者只需要几行代码,就能迅速把这些不同类别的大模型的能力,集成到自己的应用中去。


3. 高效的数据服务提升大模型效果,大数据和AI更深融合

在机器学习开发过程中,80%的研发时间有用于数据准备,数据质量决定着大模型的效果,数据处理分析的重要性更加凸显。大数据作为AI基础设施的一部分,阿里云提供了从数据积累、清洗、建模、计算到服务的全套产品化方案,来节省AI开发过程中数据准备的时间。

同时,大数据和AI进行了更深度的融合。阿里云自研大数据处理平台MaxCompute 全面升级DataFrame能力,发布分布式计算框架MaxFrame,100%兼容Pandas等数据处理接口,一行代码即可将原生Pandas自动转为MaxFrame分布式计算,打通数据管理、大规模数据分析、处理到ML开发全流程,打破大数据及AI开发使用边界,大大提高开发效率。

大模型驱动的 AI 时代,AI 场景对数据时效性的要求也越来越高,Flink+Paimon新一代实时湖仓方案,为用户提供一站式数据入湖、实时加工和探查分析能力,拓展 Flink 在数据湖场景的实时计算能力,同时加速 AI 应用。

全托管向量检索服务DashVector正式发布,基于阿里云自研8年的高性能向量检索内核Proxima,提供具备水平拓展能力的云原生、全托管的向量检索服务。Hologres、OpenSearch、Elasticsearch分别升级了向量能力,满足不同场景下性能的提升。全新发布DataWorks Copilot,将大数据平台的一站式统一元数据、统一调度、统一数据集成、统一数据建模与AI大模型能力全面结合, 将AI与业务充分融合,创造新价值。

在面向大模型时代整体大数据AI产品能力升级后,汪军华宣布大数据AI产品全面完成Serverless化,致力于给客户提供开箱即用、按需付费的高性价比产品。作为大模型时代AI的基础设施,阿里云人工智能+大数据平台将坚定、持续的投入研发资源,服务各行各业的业务创新。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2天前
|
人工智能 算法 搜索推荐
探索人工智能与大数据的融合之道####
本文深入探讨了人工智能(AI)与大数据之间的紧密联系与相互促进的关系,揭示了二者如何共同推动科技进步与产业升级。在信息爆炸的时代背景下,大数据为AI提供了丰富的学习材料,而AI则赋予了大数据分析前所未有的深度与效率。通过具体案例分析,本文阐述了这一融合技术如何在医疗健康、智慧城市、金融科技等多个领域展现出巨大潜力,并对未来发展趋势进行了展望,强调了持续创新与伦理考量的重要性。 ####
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能与大数据的融合之美####
【10月更文挑战第29天】 身处信息技术飞速发展的时代,人工智能与大数据如同两颗璀璨的星辰,在科技的夜空中交相辉映,共同推动着社会进步与变革的浪潮。本文旨在揭开AI与大数据深度融合的神秘面纱,探讨这一融合如何引领技术前沿,激发创新活力,并展望其在未来世界中的无限可能。通过深入浅出的解析,展现技术背后的逻辑与魅力,邀请读者一同踏上这场科技与智慧的探索之旅。 ####
23 2
|
7天前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
65 0
|
10天前
|
机器学习/深度学习 人工智能 物联网
深度学习:物联网大数据洞察中的人工智能
深度学习:物联网大数据洞察中的人工智能
|
12天前
|
机器学习/深度学习 人工智能 算法
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
车辆车型识别,使用Python作为主要编程语言,通过收集多种车辆车型图像数据集,然后基于TensorFlow搭建卷积网络算法模型,并对数据集进行训练,最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面,实现用户上传一张车辆图片识别其类型。
49 0
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
从人工智能到大模型的演变
本文概述了人工智能从早期的规则基础系统到现代大模型的演变过程,涵盖了符号主义、专家系统、统计学习、深度学习、自然语言处理以及大模型的出现与应用,分析了各阶段的关键技术和面临的挑战,展望了未来的发展方向。
|
2月前
|
机器学习/深度学习 人工智能 算法
鸟类识别系统Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+ResNet50算法模型+图像识别
鸟类识别系统。本系统采用Python作为主要开发语言,通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型,然后进行模型的迭代训练,得到一个识别精度较高的模型,然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面,实现用户上传一张鸟类图像,识别其名称。
104 12
鸟类识别系统Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+ResNet50算法模型+图像识别
|
2月前
|
人工智能 编解码 搜索推荐
大模型、大数据与显示技术深度融合 加速智慧医疗多元化场景落地
大模型、大数据与显示技术深度融合 加速智慧医疗多元化场景落地
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
AI人工智能大模型的架构演进
随着深度学习的发展,AI大模型(Large Language Models, LLMs)在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进,包括从Transformer的提出到GPT、BERT、T5等模型的历史演变,并探讨这些模型的技术细节及其在现代人工智能中的核心作用。
117 9
|
2月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能与大数据的融合应用##
随着科技的快速发展,人工智能(AI)和大数据技术已经深刻地改变了我们的生活。本文将探讨人工智能与大数据的基本概念、发展历程及其在多个领域的融合应用。同时,还将讨论这些技术所带来的优势与挑战,并展望未来的发展趋势。希望通过这篇文章,读者能够对人工智能与大数据有更深入的理解,并思考其对未来社会的影响。 ##

热门文章

最新文章