# GPU云服务器 #
1
关注
7833内容
函数计算 FC：首发 GPU 极速模式，更弹性、更降本
2024 云栖大会上，函数计算 FC 为 AI 加码，首发 GPU 极速模式，让 GPU 可以更弹性、更便宜。
Pai-Megatron-Patch：围绕Megatron-Core打造大模型训练加速生态
Pai-Megatron-Patch（https://github.com/alibaba/Pai-Megatron-Patch）是阿里云人工智能平台PAI研发的围绕Nvidia MegatronLM的大模型开发配套工具，旨在帮助开发者快速上手大模型，完成大模型（LLM）相关的高效分布式训练，有监督指令微调，下游任务评估等大模型开发链路。最近一年来，我们持续打磨Pai-Megatron-Patch的性能和扩展功能，围绕Megatron-Core（以下简称MCore）进一步打造大模型训练加速技术生态，推出更多的的训练加速、显存优化特性。
TAG：BladeLLM 的纯异步推理架构
近期，大模型推理社区（vLLM，SGLang 等）普遍开始关注框架运行时开销，提出了多步调度、异步输出处理、独立 API Server 进程等工作，来分摊或掩盖部分开销。
在我们的实际业务场景中，也观察到高额的框架开销严重限制了系统吞吐，特别是在高并发（>1k）场景下，运行时开销已经接近或高于 GPU 运行时间，导致资源严重浪费和性能下降。为此，BladeLLM 设计并实现了基于 Python 的纯异步 LLM 推理架构 -- TAG (Totally Asynchronous Generator) ，以最大程度提高 GPU 利用率，提升引擎性能。
【Paper Reading】结合 NanoFlow 研究，优化大语言模型服务效率的探索
本文将深入探讨 NanoFlow 的关键思路和核心技术，分析 NanoFlow 与 阿里云人工智能平台 PAI 在实际工作中应用的潜力。
PyTorch 模型调试与故障排除指南
在深度学习领域，PyTorch 成为开发和训练神经网络的主要框架之一。本文为 PyTorch 开发者提供全面的调试指南，涵盖从基础概念到高级技术的内容。目标读者包括初学者、中级开发者和高级工程师。本文探讨常见问题及解决方案，帮助读者理解 PyTorch 的核心概念、掌握调试策略、识别性能瓶颈，并通过实际案例获得实践经验。无论是在构建简单神经网络还是复杂模型，本文都将提供宝贵的洞察和实用技巧，帮助开发者更高效地开发和优化 PyTorch 模型。
使用GPU 加速 Polars：高效解决大规模数据问题
Polars 最新开发了 GPU 加速执行引擎，支持对超过 100GB 的数据进行交互式操作。本文详细介绍了 Polars 中 DataFrame（DF）的概念及其操作，包括筛选、数学运算和聚合函数等。Polars 提供了“急切”和“惰性”两种执行模式，后者通过延迟计算实现性能优化。启用 GPU 加速后，只需指定 GPU 作为执行引擎即可大幅提升处理速度。实验表明，GPU 加速比 CPU 上的懒惰执行快 74.78%，比急切执行快 77.38%。Polars 的查询优化器智能管理 CPU 和 GPU 之间的数据传输，简化了 GPU 数据处理。这一技术为大规模数据集处理带来了显著的性能提升。
阿里云飞天企业版“智算升级”，为政企打造AI时代最开放的云
阿里云正式发布飞天智算—飞天企业版V3.18，为政企客户打造AI时代最开放的云。此次升级，飞天企业版将智算能力深度融入云平台，实现“一云多算”，满足政企客户对云平台“云+AI”协同发展需求，为AI技术大规模在政企领域应用做好准备。
云栖Day1重磅合集！ Qwen2.5-72B成为全球最强开源模型
今天，2024云栖大会正式开幕
通义千问重磅开源Qwen2.5
性能超越Llama 405B
继续稳居最强开源大模型位置
免费试用