本场景将提供一台配置了Alibaba Cloud Linux 3操作系统的GPU实例。通过本教程的操作,您可以在一台Alibaba Cloud Linux 3的GPU云服务器上,安装大模型运行环境(包括Anaconda、Pytorch等的),部署大语言模型,使用streamlit运行大模型对话模型网页demo。
Pytorch一个开源的Python机器学习库,基于Torch,底层由C++实现,应用于人工智能领域,如计算机视觉和自然语言处理。它主要由Meta Platforms的人工智能研究团队开发。著名的用途有:特斯拉自动驾驶,Uber最初发起而现属Linux基金会项目的概率编程软件Pyro,Lightning。
1、创建资源
2)登录ECS,等待10分钟左右,CUDA、Driver、CUDNN安装完成。
3)执行如下命令nvidia-smi,校验NVIDIA Driver安装。
4)执行如下命令nvcc --version,校验CUDA安装。
5)执行如下命令,校验cuDNN安装。
ls /usr/local/cuda/lib64/ | grep cudnn