云存储在AIOps、数字人以及训练推理场景的最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 12月2日,阿里云存储团队、通义实验室、阿里云培训中心在深圳粤海国际化企业服务交流中心联合举办了云存储技术实战营之数据+AI专场沙龙,吸引了众多开发者和企业代表的关注。

在以AIGC大模型为代表的技术新浪潮中,存储作为数据基础设施,将在数据采集、训练与推理、应用部署、内容审核与协同等多个关键环节发挥重要作用,助力 AI 创新加速。据IDC调研显示,67%的中国企业已经开始探索AIGC在企业内的应用机会或已经开始进行资金投入。

 

122日,阿里云存储团队、通义实验室、阿里云培训中心在深圳粤海国际化企业服务交流中心联合举办了云存储技术实战营之数据+AI专场沙龙,吸引了众多开发者和企业代表的关注。来自阿里云存储、达摩院、日志服务的专家就AIGC技术和企业出海案例进行了讲解,帮助企业了解最新云计算以及AI技术的具体落地,为企业高质量发展以及业务出海提供有益借鉴。

 

1、可观测场景下AIOps实践

随着数字化建设的深入推进,我们进入了移动开发的碎片化时代,不仅要从研发角度考虑问题,还要考虑系统的稳定性和运营需求,如流量、客户增长、安全审计等。AI注重通用能力和对话理解,可广泛应用于各行各业中。AI Agent可以帮助在特定场景下训练分身,降低工作量。

 

无论是开发运维、安全还是运营,所有工作的过程(如数据采集、预处理、决策智能)和步骤都大体相似。运维和运营工作可以拆解成几个阶段,包括观测指标、存储数据、分析展示、判断决策等。Gartner 报告指出,到 2026 年,成功应用可观测性的企业中,有 70% 的企业将实现更短的决策延迟,从而为目标业务或IT流程带来竞争优势。

 1202-简志3-800.jpg


阿里云资深技术专家简志指出,系统分析与决策智能的两个重要步骤是数据采集和预处理,在开发和运维领域,Logging(日志)、Metrics(指标)和Tracing(调用链)是最典型的三种模态数据。通过对LoggingTracing和其他数据的关联分析,可以覆盖大部分运营安全需求,提高对系统的感知。日志服务SLS可将 LogMetricTrace 等数据进行统一存储和融合分析,并具备自动巡检、异常实时通知、根因定位等能力,辅助企业快速定位问题。

 

不难发现,可观测性建设的核心关注点在数据的采集、存储、分析环节。阿里云SLS可观测数据分析平台,提供了多种数据接入方式,并能够支持多个开源协议。时序数据建立基础模型算法可以实现对流量数据的聚合、周期性分析和削峰填谷。通过日志分析和Trace技术解决系统调用链定位问题的方法可以提高用户体验。通过构建知识图谱并应用大语言模型,可以帮助回答常见问题并解放繁重的工作负担。未来需要整理和沉淀领域知识,提升AI的理解能力。

 

2、基于FaceChainAI人像写真生成实践

传统的人像摄影通常需要高端设备和专业的技能,是用光的艺术。而AI写真则通过图像处理与神经网络算法,就可以生成细节纤毫毕现的图片。借助AI软件工具,技术小白可根据偏好需求生成各种类型的照片,写真、证件照等等都不在话下。甚至,AI写真还能够自动化地进行后期调整,让构图、光影、影调更为和谐,让照片看起来更具有层次感和美感。

 

Stable Diffusion中,可以通过对少量输入图像进行文生图训练的方式将输入图像的信息注入到LoRA模型中。FaceChain 集成了最强大的开源文生图模型 SDXL1.0,是一个可以用来打造个人数字形象的深度学习模型工具,支持上百种写真风格。通过prompt自定义能力,即可允许用户进行DIY


1202-谢昊宇-800.jpg

 

个人写真模型的能力分为训练与推断两个阶段:在训练阶段,用户仅需要提供最低一张照片即可获得属于自己的个人形象数字替身,整个过程持续约4-5分钟。训练完成后,进入推断阶段,结合不同的风格LoRA 模型和写真模版,可以在1分钟左右生成超乎想象空间的个人写真作品。除了单人写真外, FaceChain 也支持生成多人写真。结合衣物与场景,FaceChain 还可实现虚拟试衣的功能。

 

重阳节期间,FaceChain 团队探索了AIGC技术在社区老人身上的应用,帮助他们生成属于自己的婚纱照。目前,魔搭已经实现了1.01.5版本的人像生成技术,以及无限风格写真和模板写真功能。团队还计划融入更多时尚设计,实现无需训练的人物写真技术。此外,他们也推进了强化学习训练框架,并将推广更具有可玩性的人像视频技术。

 

3、云上AI应用训练与推理的存储最佳实践

日就月将,学有缉熙于光明。大模型作为机器学习领域的尖端代表,其研发并非一日之功。机器学习的工作流程可大致分为数据采集、数据准备、模型训练和模型推理四个阶段,每个阶段对于数据存储的要求都不尽相同,这无疑给存储带来了机会和挑战。

 

阿里云技术专家浪远指出,闯过算力关,才能拿到大模型竞赛的入场券。在AI训练过程中,CheckPoint耗时会直接影响算力利用率。为了解决这个问题,可以使用更高性能的存储系统,如并行文件系统。阿里云的并行文件系统CPFS具有高吞吐率和高IOPS,可以满足大规模数据存储和读取的需求,有利于提升训练效率。

 1202-浪远-800.jpg


作为一款高性能的并行文件存储,文件存储CPFS通过将数据打散访问,提高了计算节点的存储数据性能。它通过将查询数据并行化,加快了数据访问速度;使用分布式原数据作为地图,避免了数据瓶颈;采用高速网络和优化的磁盘切片技术,提升了系统性能。并且文件存储CPFS实现了与OSS之间数据双向流动,数据集可预加载至CPFS以提升训练效率,冷数据可归档至OSS降低成本。致力于推动大模型应用落地的百川智能,就使用了CPFS智算版和OSS搭建大模型服务。

 

AI推理场景中,GPU对数据的读取和训练有些不同。细而言之,在推理中,数据主要是大文件的大I/O读取,要的其实是一种burst的大单流和大聚合带宽,很少涉及数据写入。而且很多开源模型需要通过网络直接上传到存储系统中,所以许多阿里云用户会使用OSS作为模型库的存储。为了减少数据导入的时间,OSS通过更大分条适配、清浊分离、动态集群调度将默认吞吐能力提升10倍。LibLib通过采用阿里云OSSNAS,构建了统一AIGC存储服务,加速业务的商业化。

 

此外,阿里云在OSS上构建了OSS加速器功能,通过OSS加速器看到的数据和OSS中的数据是强一致的。当前,加速器功能正在向2.0版本演进。在2.0版本中,整个服务将实现serverless化,开发者可以完全按需使用,大幅降低起步门槛。为LibLib构建统一AIGC存储服务

 

结语:人工智能技术的创新迭代驱动了应用场景的进一步落地,以智能决策、多模态、AI大模型为代表的热点为市场带来了更多想象力和可能性。同时,企业对自身数字化数智化转型的积极推动催生出对AI技术的多元化需求。阿里云将帮助更多企业和开发者在AIGC时代开疆扩土。

相关文章
|
5月前
|
新零售 人工智能 vr&ar
国家发展改革委等部门:鼓励利用数字人等技术拓展电商直播场景!
国家发改委推出措施鼓励创新消费场景,特别提到利用AI、VR等技术增强购物体验,支持数字人电商。青否数字人直播系统提供独立部署方案,适应抖音直播并解决封号问题,具备实时话术改写和AI智能回复功能,确保互动合规。此系统适用于24小时直播,降低商家成本,提升效率。欲了解更多信息,可访问:zhibo175。
国家发展改革委等部门:鼓励利用数字人等技术拓展电商直播场景!
|
机器学习/深度学习 云安全 人工智能
文心千帆:PPT 制作、数字人主播等应用场景惊艳到我了,下面给ERNIE-Bot|BLOOMZ大模型调优、RLHF训练详细教程
文心千帆:PPT 制作、数字人主播等应用场景惊艳到我了,下面给ERNIE-Bot|BLOOMZ大模型调优、RLHF训练详细教程
文心千帆:PPT 制作、数字人主播等应用场景惊艳到我了,下面给ERNIE-Bot|BLOOMZ大模型调优、RLHF训练详细教程
|
7月前
|
传感器 人工智能 搜索推荐
|
27天前
|
API 语音技术 开发者
基于开源技术的数字人实时对话:形象可自定义,支持语音输入,对话首包延迟可低至3s
魔搭社区最近上线了基于开源技术的数字人实时对话demo,无需预训练即可使用自定义的数字人形象进行实时对话,支持语音输入和实时对话。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能】python之人工智能应用篇--数字人生成技术
数字人生成技术是基于人工智能技术和计算机图形学技术创建的虚拟人物形象的技术。该技术能够模拟人类的外貌、声音、动作和交流能力,为多个领域带来创新的应用可能性。数字人的本质是将所有信息(数字和文字)通过数字处理(如计算机视觉、语音识别等)再进行表达的过程,形成具有人类形态和行为的数字产物。 数字人的生成涉及到多种技术,如3D重建技术,使用三维扫描仪扫描人的外观、五官等,并通过3D模型重建三维人;虚拟直播技术,使用计算机技术生成人物或实体,并且可以实时直播、录制;数字人体数据集技术,利用数据构建数字人模型以及训练虚拟现实引擎等
132 4
|
6月前
|
算法
VASA-1:实时音频驱动的数字人说话面部视频生成技术
【6月更文挑战第8天】VASA-1是实时音频驱动的数字人面部视频生成技术,能根据输入音频精准生成匹配的面部表情。具备实时性、高准确性和适应性,适用于虚拟主播、在线教育和影视娱乐等领域。简单示例代码展示了其工作原理。尽管面临情感理解和硬件优化等挑战,但随着技术发展,VASA-1有望在更多领域广泛应用,开启生动数字世界的新篇章。
302 5
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
【数字人】AIGC技术引领数字人革命:从制作到应用到全景解析
【数字人】AIGC技术引领数字人革命:从制作到应用到全景解析
651 0
|
传感器 人工智能 达摩院
带你读《2022技术人的百宝黑皮书》——虚拟数字人行业现状和技术研究(1)
带你读《2022技术人的百宝黑皮书》——虚拟数字人行业现状和技术研究
189 0
带你读《2022技术人的百宝黑皮书》——虚拟数字人行业现状和技术研究(1)
|
编解码 自然语言处理 算法
虚拟数字人之《手语翻译官》的技术实践
虚拟数字人之《手语翻译官》的技术实践
20289 0
虚拟数字人之《手语翻译官》的技术实践
|
对象存储 流计算 CDN
带你读《2022技术人的百宝黑皮书》——虚拟数字人行业现状和技术研究(2)
带你读《2022技术人的百宝黑皮书》——虚拟数字人行业现状和技术研究
187 0