# GPU云服务器 #
1
关注
7801内容
|
魔搭+Xinference 平台：CPU，GPU，Mac-M1多端大模型部署
随着 Llama2 的开源，以及通义千问、百川、智谱等国内大模型的问世，很多用户有了本地部署去尝试大模型的需求，然而硬件的需求阻碍了很多人的尝试，并不是所有人都拥有一块英伟达显卡的，所以 Llama2 问世不久，大神 Andrej Karpathy 的一个 weekend project 爆火——llama2.c。
Kubernetes 调用 GPU解析
Kubernetes (K8s) 支持调用GPU以利用其统一调度和分配集群资源的能力，管理异构计算，如加速部署、提高资源使用率和保证资源独享。通过容器化和设备隔离，K8s确保GPU高效、安全地被应用使用。要调用GPU，需安装NVIDIA GPU驱动、CUDA工具包和Device Plugin，然后在Pod配置中指定GPU需求。安装步骤包括：确保GPU节点、安装GPU驱动和NVIDIA容器运行时、创建GPU资源要求的Pod并部署到集群。
如何准确的估计llm推理和微调的内存消耗
最近发布的三个大型语言模型——Command-R+ (104B参数), Mixtral-8x22b (141B参数的MoE模型), 和 Llama 3 70b (70.6B参数)——需要巨大的内存资源。推理时，Command-R+需193.72GB GPU RAM，Mixtral-8x22B需262.63GB，Llama 370b需131.5GB。激活的内存消耗根据序列长度、批大小等因素变化。文章详细介绍了计算这些模型内存需求的方法，并探讨了如何通过量化、优化器优化和梯度检查点减少内存使用，以适应微调和推理。
LLM推理引擎怎么选？TensorRT vs vLLM vs LMDeploy vs MLC-LLM
有很多个框架和包可以优化LLM推理和服务，所以在本文中我将整理一些常用的推理引擎并进行比较。
|
阿里云贾扬清：大数据+AI工程化，让数据从「成本」变为「资产」
近年来，数字经济发展迅速，企业转型背后频频涌现「数字力量」的身影。云计算、大数据、人工智能的快速融合形成了数字经济的新基建，也为数字经济发展带来了新的机遇。
|
Kubernetes在AI/大数据领域的 最新进展与大规模实践
根据在[CNCC 2022开源分布式云原生系统技术发展](https://ccf.org.cn/cncc2022/schedule_d_4075)论坛的演讲整理。
在云计算技术快速发展的过
智能火焰与烟雾检测系统（Python+YOLOv5深度学习模型+清新界面）
智能火焰与烟雾检测系统（Python+YOLOv5深度学习模型+清新界面）
免费试用