飞天技术观丨开放的Autonomous Cloud,开启AI崭新时代

简介: 面向智能时代,阿里云将通过从底层算力到AI平台再到模型服务的全栈技术创新,升级云计算体系,打造一朵AI时代最开放的云。2023年,AI和云计算也终于走在一起,融合出更有生命力的广阔空间。

云栖战略参考 2023版头_副本.png

《云栖战略参考》由阿里云与钛媒体联合策划,呈现云计算与人工智能领域的最新技术战略观点与业务实践探索,希望这些内容能让您有所启发。

文/周靖人「阿里云首席技术官」

1958年中国第一台小型计算机研发成功,1987年中国第一封电子邮件诞生,1994年中国第一次接入国际互联网......这些标志性事件意味着中国计算机、互联网产业进入到了一个快速发展的时代。阿里云正是诞生于这样一个科技创新的浪潮中,经过数年磨练。

今天,我们处在一个数据爆炸、计算能力飞速提升的时代。在这个时代,算力成为社会发展科技创新的重要动力。阿里云也依靠多年演进、积累的技术能力和AI基础设施,为各行各业的模型训练、模型服务的需求提供坚实的支撑,助力各行各业一起在智能化时代里定义无限的未来。

8.png

全面升级,做好AI时代的基础设施

阿里云在成立之初就认为“数据中心是一台计算机”,这句话在AI时代有更深层次的含义,被进一步论证。当前,单个芯片的计算能力有大幅度的提升,但大模型的提升不是靠单一芯片完成,是靠成千上万的芯片完成。实现分布式的超大规模的训练,是云计算把成千上万的计算模块有效融合成一个计算引擎,组建成更强大的计算机,突破单一芯片性能瓶颈,帮助模型训练以及为更广阔的人工智能提供创新的支持。

这次技术变革中一个非常重要的特点是:想要取得领先地位,必须既懂AI又懂云计算,两者是紧密联系相辅相成的,缺一不可。有算法的能力但是缺少云计算的支持,就会很难发展起来;同样,只有云计算却没有进行AI时代的全面升级,也会最终面临淘汰。

阿里云的云计算基础能力并没有止步于过去已有的沉淀,而是螺旋上升地在AI时代进一步探索和夯实。

大模型是2023年AGI变革的技术核心,基础模型的质量则很大程度决定了AI应用的前景。训练大模型是囊括了算力底座、网络、存储、大数据、AI框架、AI模型等复杂技术的系统性工程,只有强大的云计算才能训练出高质量的大模型。为此,阿里云全线产品为支撑AI的发展、开发进行了技术升级。

为了保证大模型训练的稳定互联和高效并行计算,阿里云全新升级了人工智能平台PAI(Platform for AI)。

大模型训练方面,要求成千上万片GPU要实现高速互联、复杂的训练算法要有效并行、以高效算力调度实现计算和通讯的平衡、容错与快速故障恢复。PAI灵骏超高性能分布式模型训练平台具有高吞吐、低延时的网络,同时通过分布式调度、分布式编译,能在超大规模分布式训练上做到线性加速比96%。在容错方面,通过Tracepoint技术实时做封装级的故障检测、恢复,真正意义上帮助模型开发者、AI应用开发者有效地完成各种挑战性任务。

在模型推理层面也面临诸多挑战,例如算力性价比影响应用规模、延时敏感应用依赖就近推理服务、用量波动需要弹性伸缩和高可用服务。这一系列的问题无形之中由云计算的核心能力来逐一解决,包括推理能力、分布全球的数据中心布局,以及弹性计算的支持。

灵积平台可以做到低延时的模型推理和相关的服务。一方面,通过一系列的优化来降低模型服务的延迟;另一方面,在不影响模型效果的前提下,不断降低模型服务的成本。同时,运用稳定的弹性能力实现自动扩缩容,不断优化模型的性价比。

人工智能平台PAI作为中国大模型的公共AI算力底座,正承载着众多大模型企业、高校、科研机构的创新,参与到他们业务体系的成功中。

除了通义大模型,中国一半大模型公司跑在阿里云上,百川智能、智谱AI、零一万物、昆仑万维、vivo、复旦大学等大批头部企业及机构均在PAI上训练大模型。

未来,随着大模型技术与云计算本身的融合,云也可以像车一样能够自动驾驶,大幅提升开发者使用云的体验。

阿里云正在进行云产品的全面AI升级,走向Autonomous Cloud。通过把云的管理、运维、开发等各方面实现智能化,真正做到自动管理、自动运维、自动开发,成为“自动驾驶的云”。

在智能系统优化方面,利用AI实现更智能地调整各种性能参数,保障整个系统一直处于最优状态;在AI辅助开发方面,通过在各开发平台引入AI,帮助开发者提升AI的开发效率;在智能运维管理方面,借助AI实现更及时、更精准的系统运维;在智能客服方面,通过引入语言大模型,打造智能对话机器人、智能外呼机器人,更有效地服务企业和开发者。

阿里云上已有超过30款云产品接入了大模型能力,例如阿里云大数据治理平台DataWorks新增了全新的交互形态——DataWorks Copilot,用户只需用自然语言输入即可生成SQL,并自动执行相应的数据ETL操作,整体开发与分析可提效30%以上,堪比“自动驾驶”。

更好的大模型,加速应用的创新

当下,千行百业都想借助大模型实现业务模式的变革,但大模型使用的高门槛把大部分人挡在了技术浪潮之外。不论是定制专属大模型,还是基于大模型构建创新应用,都有很高的人才、技术、资金要求。

在Model as a Service的理念下,整个模型生态对人工智能产业的落地是至关重要的,每一环都是当前需要解决的一个重要方向。

模型生态中,除了底层基础模型,还会衍生出各种各样更加理解行业知识的行业模型,不同行业有不同的思维方式,如何把思维、应用的方式融入进去,是模型在行业落地的关键,不可避免地要做到很多知识增强和微调工作。

因此,通义模型大家族进行了全面升级——在底层基础模型之上,发布了一系列产业模型,目标是通过一系列的模型家族升级,真正意义上帮助大家解决各种各样的问题和挑战,推进模型的落地应用。

首先,基础模型层面,语言大模型通义千问来自阿里云多年的技术积累,从今年4月份第一次发布以来受到了广大开发者以及社会的关注,整个模型和产品也是在不停地迭代,不停地突破和创新。10月31日,在2023云栖大会上通义千问2.0发布,升级为千亿参数的模型,在业界各种评测指标上全面达到国际先进水平。此外,文生图基础大模型通义万相自7月份发布以来也受到了广泛关注,这款人工智能艺术创作大模型至今已经生成了超过1000万张图片。

为推动大模型更易在千行百业落地,阿里云基于通义千问基础大模型“打样”了8个行业大模型,包括通义听悟、通义晓蜜、通义星尘、通义灵码、通义点金、通义智文、通义法睿、通义仁心。

通义听悟作为工作学习的AI助手,在会议交流、教学培训、调研访谈、音视频理解与问答等场景下把多媒态的体验、语音的体验、自然语言的相关总结能力有机地结合在一起。“听悟”有两个含义,一个是“听”,能够听得懂;第二个是“悟”,能够理解讲话过程中的相关内容。它不仅能记录,还可以区分对话人、提炼要点、无缝转换成外语。过去两个多月,已经有累计超过100万的用户使用了听悟,每天处理音视频个数超5万,每日处理小时数超3万。个性化角色创作平台通义星尘,可以把人的个性引入到日常对话里,创造虚拟人,用于游戏、陪伴、教学服务等多样化应用场景。智能编码助手“通义灵码”,基于通义大模型,经过海量优秀开源代码数据与研发知识训练,提供代码智能生成,研发智能问答能力。通义晓蜜是一款助力企业服务向智能化与多模态转型的产品,它可以承担客户服务,也能提升客服效率、实现坐席赋能。

通义点金是一款智能投研助手产品,通过多样化海量金融数据训练、引入多智能体决策协助、多源实时数据接入,能够更加有效地分析复杂问题,成为有效帮助使用者的投资小助手。此外,还有用于文献阅读的通义智文、提供法律咨询及文书生成等服务的通义法睿,以及提供医药领域咨询问答的通义仁心等。

以上所有基础模型、应用模型的能力,都可以通过多种接入方式调用,各行各业的开发者、合作伙伴、企业级的客户都能真正意义上将AI模型能力集成在自己的业务系统里,更有效地去解决实际的业务问题。

在AI场景的落地里面,企业还会面临一系列挑战。例如如何在一个安全的环境里面,让模型和企业自身的数据以及自身的知识体系有效地融合?企业的应用也非常复杂,会存在各种各样的调用形式,那如何有效地解决集成问题?

为此,阿里云推出了一站式大模型应用开发平台——阿里云百炼。

9.png

该平台集成了国内外主流优质大模型,提供模型选型、微调训练、安全套件、模型部署等服务和全链路的应用开发工具,为用户简化了底层算力部署、模型预训练、工具开发等复杂工作。开发者可在5分钟内开发一款大模型应用,几小时即可“炼”出一个企业专属模型,开发者可把更多精力专注于应用创新。

通过与企业的知识体系有效地连接,“百炼”能够真正编排适合当前业务场景的应用系统,有效解决企业模型落地的重要需求、技术难题。

目前,央视网、朗新科技、亚信科技等企业已率先在阿里云百炼上开发专属模型和应用。例如朗新科技在云上训练出电力专属大模型,开发“电力账单解读智能助手”“电力行业政策解析/数据分析助手”,为客户接待提效50%、投诉降低70%;基于百炼,亚信打造了一款伴读助手,满足了阅读和知识整理的需求。

用坚定的开放,共促AI生态的繁荣

阿里巴巴集团董事会主席蔡崇信在云栖大会期间表示,阿里云要做“AI时代最开放的一朵云”。不开放就没有生态,没有生态就没有未来。

开放也是阿里云创始人王坚博士留下的基因。相较业内普遍使用的“公有云”叫法,王坚博士更倾向于称之为“公共云”。这符合他对于云计算就像水电煤的直觉判断,他认为,“就像电一样,每分钟、每秒钟都在用,但你不会感觉到它的存在了,云计算也是这样的公共服务”。

秉持着“服务好各种各样的开发者”的初心,阿里云最核心要做的就是建设一套“开放的技术体系”,把最核心的AI基础设施开放给开发者使用,同时积极参与模型社区的建设和繁荣。

10.png

在AI时代,开发者有各种各样的画像。

拥有技术实力和前瞻性想法的大模型初创公司,如百川智能和相关科研机构,希望利用阿里云世界级水平的AI基础设施,有效获得超大规模的模型训练。而这绝对不是一个简单的GPU芯片的堆积,其中涉及网络、存储、调度和容错等方面问题。如何在这样一个AI竞争的时代里,能够快速迭代,这是制胜的关键。也就是说,谁有最强有力的AI基础设施,就会在这样一场AI竞争里面脱颖而出。

还有一些开发者基于某种原因,不做模型而更关注业务系统和应用,希望直接使用已经训练后的模型。所以具备二次开发能力的开发者,就可以直接使用已训练好的开源的通义千问基础模型,进行模型的微调和改进。而针对企业级客户,百炼会以产品化的形式,帮助开发者做模型的二次开发。

当然也存在许多开发者希望从零开始建模型,阿里云就将魔搭社区所有开源的模型进行开放,让开发者在这之上自由发挥、创造。

最后还有一类只关注模型使用的开发者,他们希望只需要通过API的方式接入大模型,不做额外的调整就能使用完整模型。阿里云就为这些开发者提供更多开放接口和行业模型供其使用,同时也在魔搭社区上提供第三方模型,让开发者以API的方式快速对接到自己的业务系统。

在2022年云栖大会上,魔搭模型社区正式发布。短短一年,魔搭社区已经发展成为中国最大的AI模型社区,这里有2400多个高质量模型、300万活跃用户,达到了1.2亿模型下载量。

11.png

在这个社区中,包括创业公司、研究机构、学校等各界组织,都非常积极地贡献自己的模型。今天,魔搭社区已经成为开源平台上一个重要渠道,比如大模型公司都把魔搭社区作为模型发布的一个重要阵地。早在一两年之前,我和智谱科技首席科学家、清华大学教授唐杰聊起要做“魔搭”的时候,唐杰说一定会把模型放在这里,但没有想到一年以后魔搭社区能够有上亿的模型下载量。除了模型,魔搭社区也提供了非常丰富的数据集,帮助大家实现模型创造、创新。

同时,阿里云也在为广大的开发者提供免费算力。截至目前,阿里云已经提供了累计3000万GPU小时的免费算力,能够让社会各界在阿里云上创造自己的模型,去尝试各种模型。同时,通过创空间大家分享自己模型使用的体验,共同营造AI的生态,帮助整个产业快速发展。

2023年8月到12月,通义千问陆续进行了18亿、70亿、140亿、720亿参数规模的开源,通义千问也成为了业界首个“全尺寸开源”的大模型。

Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能甚至超越开源标杆Llama 2-70B和大部分商用闭源模型,填补了中国LLM开源领域的空白。如果说,Qwen-72B“向上摸高”,抬升了开源大模型的尺寸和性能天花板,那么12月同时开源的Qwen-1.8B就是“向下探底”,成为尺寸最小的中国开源大模型,推理2K长度文本内容仅需3G显存,可在消费级终端部署。

用户可在魔搭社区直接体验Qwen系列模型效果,也可通过灵积调用模型API,或基于阿里云百炼平台定制大模型应用。

开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为“AI时代最开放的大模型”,与伙伴们共同促进大模型生态建设。

作为一朵开放的云,阿里云针对所有企业、各种各样的开发者,保持开放的心态,在不同层面提供开放的产品技术支持,服务企业和开发者快速在自己熟悉的领域实现创新突破。创新也是无处不在的,大模型的能力只有赋予开发者和合作伙伴,让他们发挥自己的创造力,AI的产业才能得到突飞猛进的发展。

相关文章
|
9天前
|
人工智能
AnchorCrafter:中科院联合腾讯推出的AI虚拟主播带货视频制作技术
AnchorCrafter是由中科院和腾讯联合推出的一项AI虚拟主播带货视频制作技术。该技术基于扩散模型,能够自动生成高保真度的主播风格产品推广视频,通过整合人-物交互(HOI)技术,实现对物体外观和运动控制的高度还原。AnchorCrafter在物体外观保持、交互感知以及视频质量方面优于现有方法,为在线广告和消费者参与提供了新的可能性。
97 30
AnchorCrafter:中科院联合腾讯推出的AI虚拟主播带货视频制作技术
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
GLM-4V-Flash:智谱 AI 免费开放的图像理解大模型 API 接口
智谱AI推出的GLM-4V-Flash是一款专注于图像理解的免费开放大模型,提供API接口支持用户上传图片URL或Base64编码图片获取详细的图像描述。该模型通过深度学习和卷积神经网络技术,简化了图像分析流程,提高了开发效率,适用于内容审核、辅助视障人士、社交媒体、教育和电子商务等多个应用场景。
48 14
GLM-4V-Flash:智谱 AI 免费开放的图像理解大模型 API 接口
|
1天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——电子科技大学站圆满结营
12月05日,由中国软件行业校园招聘与实习公共服务平台携手阿里魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·电子科技大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——电子科技大学站圆满结营
|
5天前
|
机器学习/深度学习 存储 人工智能
【AI系统】离线图优化技术
本文回顾了计算图优化的各个方面,包括基础优化、扩展优化和布局与内存优化,旨在提高计算效率。基础优化涵盖常量折叠、冗余节点消除、算子融合、算子替换和算子前移等技术。这些技术通过减少不必要的计算和内存访问,提高模型的执行效率。文章还探讨了AI框架和推理引擎在图优化中的应用差异,为深度学习模型的优化提供了全面的指导。
19 5
【AI系统】离线图优化技术
|
2天前
|
机器学习/深度学习 人工智能 边缘计算
24/7全时守护:AI视频监控技术的深度实现与应用分享
本文深入解析了AI视频监控系统在车间安全领域的技术实现与应用,涵盖多源数据接入、边缘计算、深度学习驱动的智能分析及高效预警机制,通过具体案例展示了系统的实时性、高精度和易部署特性,为工业安全管理提供了新路径。
|
8天前
|
机器学习/深度学习 人工智能 TensorFlow
探索AI技术在医疗健康领域的应用
随着人工智能技术的不断发展,其在医疗健康领域的应用也日益广泛。本文将介绍AI技术在医疗健康领域的应用,包括医学影像分析、智能诊断和治疗建议、药物研发等方面。通过代码示例,我们将展示如何使用Python和TensorFlow构建一个简单的神经网络模型来进行医学影像分析。
34 13
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
随着人工智能技术的不断发展,自然语言处理(NLP)已经成为了一个重要的应用领域。本文将介绍一些常见的NLP任务和算法,并通过代码示例来展示如何实现这些任务。我们将讨论文本分类、情感分析、命名实体识别等常见任务,并使用Python和相关库来实现这些任务。最后,我们将探讨NLP在未来的发展趋势和挑战。
|
6天前
|
机器学习/深度学习 人工智能 安全
AI技术在医疗领域的应用与挑战
本文将探讨AI技术在医疗领域的应用及其带来的挑战。我们将介绍AI技术如何改变医疗行业的面貌,包括提高诊断准确性、个性化治疗方案和预测疾病风险等方面。同时,我们也将讨论AI技术在医疗领域面临的挑战,如数据隐私和安全问题、缺乏标准化和监管框架以及医生和患者对AI技术的接受程度等。最后,我们将通过一个代码示例来展示如何使用AI技术进行疾病预测。
18 2
|
8天前
|
机器学习/深度学习 人工智能 搜索推荐
底层技术大揭秘!AI智能导购如何重塑购物体验
双十一期间,淘宝内测AI助手“淘宝问问”,基于阿里通义大模型,旨在提升用户在淘宝上的商品搜索和推荐效率。该助手通过品牌推荐、兴趣商品推荐和关联问题三大板块,提供个性化购物体验。其背后采用多智能体架构,包括规划助理和商品导购助理,通过对话历史和用户输入,实现精准商品推荐。此外,文章还介绍了如何快速部署此解决方案,并探讨了其对现代购物体验的影响。
|
11天前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在医疗领域的应用##
本文探讨了人工智能(AI)技术在医疗领域的应用,包括其在疾病诊断、治疗计划制定、患者监护和健康管理等方面的潜力。通过分析AI如何帮助医生更准确地诊断疾病,提高治疗效果,以及降低医疗成本,我们可以预见到一个更加智能、高效和人性化的医疗未来。 ##