# GPU云服务器 #
1
关注
7919内容
基于Knative的LLM推理场景弹性伸缩方案
Knative的基于请求弹性配置与大语言模型（LLM）的推理场景高度契合。此外，它的资源降配特性可以显著帮助用户降低成本。本文详细介绍基于 Knative 的 LLM 推理场景弹性伸缩方案。
BladeDISC++：Dynamic Shape AI 编译器下的显存优化技术
本文介绍了阿里云 PAI 团队近期发布的 BladeDISC++项目，探讨在动态场景下如何优化深度学习训练任务的显存峰值，主要内容包括以下三个部分：Dynamic Shape 场景下显存优化的背景与挑战；BladeDISC++的创新解决方案；Llama2 模型的实验数据分析
AI运用爆发时代， 视频服务云原生底座“视频云”架构的全智能再进化
本文介绍了AI运用爆发时代下，视频服务云原生底座“视频云”架构的全智能再进化。随着AI技术的发展，视频内容和交互方式正经历深刻变革。文章从背景、视频AI应用挑战、视频云网端底座、AIGC时代的全智能化及未来展望五个方面展开讨论。重点阐述了云、网、端三者如何深度融合，通过AI赋能视频采集、生产、分发和消费全流程，实现视频处理的智能化和高效化。同时，展望了未来AI在视频领域的创新应用和潜在的杀手级应用。
AI时代下， 边缘云上的技术演进与场景创新
本文介绍了AI时代下边缘云的技术演进与场景创新。主要内容分为三部分：一是边缘云算力形态的多元化演进，强调阿里云边缘节点服务（ENS）在全球600多个节点的部署，提供低时延、本地化和小型化的价值；二是边缘AI推理的创新发展与实践，涵盖低时延、资源广分布、本地化及弹性需求等优势；三是云游戏在边缘承载的技术演进，探讨云游戏对边缘计算的依赖及其技术方案，如多开技术、云存储和网络架构优化，以提升用户体验并降低成本。文章展示了边缘云在未来智能化、实时化解决方案中的重要性。
Lindorm：基于多模数据服务的一站式智能检索基础设施
Lindorm 是阿里云推出的一款基于多模数据服务的一站式智能检索基础设施，专为AI时代设计。它融合了全文检索、向量搜索和AI推理能力，支持结构化、半结构化及非结构化数据的高效处理。Lindorm 提供统一API接口，具备高弹性、低成本和易用性，帮助开发者快速构建和迭代智能搜索应用，适用于大规模智能搜索场景。此外，Lindorm 支持分布式存储与计算引擎，优化了资源管理和运维效率，极大降低了开发复杂度，助力企业实现智能化转型。
Tair：基于KV缓存的推理加速服务
Tair 是阿里云基于KV缓存的推理加速服务，旨在优化大模型推理过程中的性能与资源利用。内容分为三部分：首先介绍大模型推理服务面临的挑战，如性能优化和服务化需求；其次讲解Nvidia TensorRT-LLM推理加速库的特点，包括高性能、功能丰富和开箱即用；最后重点介绍基于KVCache优化的推理加速服务，通过Tair的KV缓存技术提升推理效率，特别是在处理长上下文和多人对话场景中表现出色。整体方案结合了硬件加速与软件优化，实现了显著的性能提升和成本降低。
AnalyticDB MySQL版：云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库，支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓，适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成，支持流批一体架构和物化视图等功能，帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度，AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能，并结合AI技术提升数据价值挖掘能力。
MiniMax云上AI数据湖最佳实践
本简介介绍MiniMax云上AI数据湖的最佳实践。MiniMax成立于2021年，专注于通用人工智能领域，提供ToB和C端产品。面对每日3万亿token、2000万张图片及7万小时语音数据的处理需求，MiniMax基于阿里云构建了稳定灵活的基础设施，采用多云策略实现全球化部署。通过引入Kubernetes、Ray等技术，优化了多模态数据处理效率，并利用对象存储与数据湖技术降低成本。此外，与阿里云合作开发边缘缓存方案，提升跨地域数据传输效率。主讲人：阿里云弹性计算技术专家高庆端。
面向AI的存储软硬结合实践和创新
本次分享的主题是面向AI的存储软硬结合实践和创新，由阿里云智能集团专家袁茂军、王正勇和常存银主讲。内容涵盖三大板块：自研存储部件设计及实践、自研存储服务器设计及实践、以及面向AI场景的存储软硬一体解决方案及实践。重点介绍AliFlash系列存储部件的演进与优化，包括QLC SSD的设计挑战与解决方案，并探讨了高性能存储服务器在AI场景中的应用与未来发展方向。通过软硬件深度融合，旨在提升AI业务的性能与效率，降低总拥有成本（TCO）。
面向AGI时代的数据存储、管理与应用
本次分享由阿里云智能集团解决方案架构师王太平主讲，主题为面向AGI时代的数据存储、管理与应用。内容涵盖AGI的演进、人工智能发展的关键因素、开发框架对存储基础设施的挑战、数据预处理、大数据训练、微调、推理及落地过程。重点讨论了阿里云在数据存储和管理方面的设计与实践，包括高性能存储、成本优化和数据安全检测等功能，旨在应对AI时代的复杂需求。
免费试用