# GPU云服务器 #
1
关注
7919内容
AI驱动下的云存储创新
随着大数据时代的到来，云存储作为数据存储和管理的核心基础设施，其重要性日益凸显。同时， AI 快速发展也为云存储的进化与创新提供了强大的驱动力。本话题将解读AI 驱动下云存储的进化趋势，分享阿里云存储的创新技术，助力企业实现数字化升级。
MNN推理框架将大模型放进移动端设备，并达到SOTA推理性能！
随着移动端（手机/平板等）算力、内存、磁盘空间的不断增长，在移动端部署大模型逐渐成为可能。在端侧运行大模型，可以有一系列好处：去除网络延迟，加快响应速度；降低算力成本，便于大规模应用；不需数据上传，保护用户稳私。
Qwen for Tugraph:自然语言至图查询语言翻译大模型微调最佳实践
在图数据库的应用场景中，自然语言至图查询语言的高效转换一直是行业中的重要挑战。本次实践基于阿里云 Qwen 大模型，围绕 TuGraph 图数据库的需求，探索并验证了一套高效的大模型微调方案，显著提升了模型生成 Cypher 查询语句的能力。通过数据清洗、两阶段微调方法以及两模型推理框架等一系列创新策略，我们成功解决了图查询语言翻译任务中的核心问题。本文将从背景与目标、数据准备与清洗、微调框架设计、Prompt设计与优化、模型推理、最佳实践效果以及前景展望等六个部分出发，向读者逐步介绍我们的方案。
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中，针对处理器核心数迅速增长（2024年超100核）、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题，推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径，优化散热支持600瓦TDP，并实现CIPU节点比例灵活配比及部件模块化可插拔设计，提升运维效率和客户响应速度。此外，还介绍了面向AI的服务器架构挑战与软硬件结合创新，包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后，探讨了大模型高效推理中的显存优化和量化压缩技术，旨在降低部署成本并提高系统效率。
云端问道8期方案教学-基于Serverless计算快速构建AI应用开发
本文介绍了基于Serverless计算快速构建AI应用开发的技术和实践。内容涵盖四个方面：1) Serverless技术价值，包括其发展趋势和优势；2) Serverless函数计算与AI的结合，探讨AIGC应用场景及企业面临的挑战；3) Serverless函数计算AIGC应用方案，提供一键部署、模型托管等功能；4) 业务初期如何低门槛使用，介绍新用户免费额度和优惠活动。通过这些内容，帮助企业和开发者更高效地利用Serverless架构进行AI应用开发。
《鸿蒙Next的GPU Turbo：决策树在图形AI领域的加速引擎》
在人工智能与图形处理融合的时代，鸿蒙Next的GPU Turbo技术显著提升决策树在图形相关AI任务中的处理能力。该技术通过软硬协同优化，重构图形处理框架，加速数据预处理、特征提取、模型训练与推理，支持多任务并行处理，并降低能耗，提高系统稳定性。例如，在智能驾驶中，GPU Turbo助力快速识别道路图像，为行驶决策提供支持，未来将在更多领域展现卓越性能。
直播回放 | 高性能智算集群设计思考与实践
本次分享的主题是高性能智算集群设计思考与实践，由阿里云灵骏智算集群产品解决方案负责人丛培岩分享。
1. AGI对基础设施的挑战
2. 高性能智算集群的设计实践
3. 思考与展望
加速大语言模型推理：NVIDIATensorRT-LLM更新
本次分享由NVIDIA亚太区资深总监李曦鹏主讲，聚焦于加速大语言模型推理的挑战与解决方案。内容涵盖大模型推理优化、性能提升策略及KVCash在用户请求处理中的应用。通过TensorRT-LLM的更新，NVIDIA提供了高性能推理引擎和多种优化技术，如KVCache优化、InflightBatching等，大幅提升了大模型的推理效率。此外，还介绍了与魔搭社区的合作，支持超过50个主流模型的一键部署，显著降低了使用门槛和成本。
面向AI的存储软硬结合实践和创新
本次分享的主题是面向AI的存储软硬结合实践和创新，由阿里云智能集团专家袁茂军、王正勇和常存银主讲。内容涵盖三大板块：自研存储部件设计及实践、自研存储服务器设计及实践、以及面向AI场景的存储软硬一体解决方案及实践。重点介绍AliFlash系列存储部件的演进与优化，包括QLC SSD的设计挑战与解决方案，并探讨了高性能存储服务器在AI场景中的应用与未来发展方向。通过软硬件深度融合，旨在提升AI业务的性能与效率，降低总拥有成本（TCO）。
免费试用