# GPU云服务器 #
1
关注
7940内容
技术改变AI发展：Ada Lovelace架构解读及RTX 4090性能测试分析（系列三）
简介：随着人工智能（AI）的迅速发展，越来越多的应用需要巨大的GPU计算资源。Ada lovelace（后面简称Ada）是NVIDIA最新的图形处理器架构，随2022年9月20日发布的RTX 4090一起公布。
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
Meta发布了 Meta Llama 3系列，是LLama系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
现身说法，AI小白的大模型学习路径
写这篇文章的初衷：作为一个AI小白，把我自己学习大模型的学习路径还原出来，包括理解的逻辑、看到的比较好的学习材料，通过一篇文章给串起来，对大模型建立起一个相对体系化的认知，才能够在扑面而来的大模型时代，看出点门道。
基于NVIDIA A30 加速卡推理部署通义千问-72B-Chat测试过程
本文介绍了基于阿里云通义千问72B大模型（Qwen-72B-Chat）的性能基准测试，包括测试环境准备、模型部署、API测试等内容。测试环境配置为32核128G内存的ECS云主机，配备8块NVIDIA A30 GPU加速卡。软件环境包括Ubuntu 22.04、CUDA 12.4.0、PyTorch 2.4.0等。详细介绍了模型下载、部署命令及常见问题解决方法，并展示了API测试结果和性能分析。
基于Dify +Ollama+ Qwen2 完成本地 LLM 大模型应用实战
尼恩，一位拥有40年经验的老架构师，通过其丰富的行业经验和深入的技术研究，为读者提供了一套系统化、全面化的LLM大模型学习圣经。这套学习资料不仅帮助许多从业者成功转型，还助力多位工程师获得了高薪工作机会。
|
大概率（5重方法）解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
大概率（5重方法）解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
|
AI平台-MNN【推理引擎】
MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。
AI 场景下确保模型数据安全，Confidential AI 技术最佳实践解读
机密计算软硬结合技术保障数据安全。
免费试用