ollama本地部署llama3(window系统)

简介: 这篇文章详细介绍了如何在Windows系统上本地部署Ollama框架来运行Llama 3大模型,并提供了具体的安装步骤和注意事项,以便实现离线使用高级AI模型进行对话。

首先介绍下ollama是什么?Ollama是一个开源的大型语言模型服务工具,旨在为用户提供本地化的运行环境,满足个性化的需求。具体来说,Ollama是一个功能强大的开源框架,可以简化在Docker容器中部署和管理大型语言模型(LLM)的过程,使得用户能够快速地在本地计算机上运行大型语言模型,如Llama 2等。此外,Ollama还提供了类似OpenAI的API接口和聊天界面,方便用户部署和使用。总的来说,Ollama可以帮助用户实现大型语言模型的本地化运行,从而满足用户对于语言处理任务的个性化需求。

下面开始下载和安装,下载的话可以到ollama的官网去下载,有window,macOS,liunx三个版本,下载链接

点击下载后等待下载完成,然后会得到一个exe文件:

双击此exe,点击Install直接开始安装,

安装完毕后,点击window下面的状态栏会看到有ollama的标志,就是刚才exe一样的标识,此时ollama就在运行中了。也可以打开命令提示符窗口,输入ollama list,这个命令是查看已经下载的大模型,因为我这里是刚安装所以是空的:

ollama只是一个大模型的服务工具,并非大模型本体,所以只是安装ollama也并不能使用大模型,所以接下来要通过ollama下载大模型,需要注意的是,llama3分为多个版本,如果你的电脑性能一般还是安装llama3:8B的版本,除非是很好的电脑,内存64以上,GPU 3090的那种才考虑安装llama3:70B,下面是根据电脑配置推荐的安装版本

RAM:Llama 3 8B至少16GB,Llama 3 70B至少64GB或更多。
GPU:Llama 3 8B具有至少8GB VRAM的强大GPU,Llama 3 70B最好是支持CUDA的NVIDIA GPU。
磁盘空间:Llama 3 8B约为5GB,而Llama 3 70B超过20GB

这类以下载ollama3为例,在命令提示符窗口输入:

ollama run llama3

这里使用run命令就可以直接下载llama3了,然后等待下载完成。如下图就是下载完成,可以直接在这里提问了,

不过llama3对英文支持更好,可以用英文进行提问,英文不好的话也可以要求它用英文回答。

至此,用ollama部署一个可以离线使用的llama3大模型就好啦。

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
5月前
|
缓存 Kubernetes 异构计算
使用TensorRT-LLM进行生产环境的部署指南
TensorRT-LLM是一个由Nvidia设计的开源框架,用于在生产环境中提高大型语言模型的性能。该框架是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图,并借鉴了许多 FastTransformer 中高效的 Kernels 实现,并且可以利用 NCCL 完成设备之间的通讯。
362 12
|
5月前
|
人工智能 API 决策智能
Modelscope结合α-UMi:基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
|
5月前
|
人工智能 机器人 测试技术
使用LM Studio在本地运行LLM完整教程
GPT-4被普遍认为是最好的生成式AI聊天机器人,但开源模型一直在变得越来越好,并且通过微调在某些特定领域是可以超过GPT4的。
2539 1
|
5天前
|
API Windows
Window本地部署ChatTTS
这篇文章详细介绍了如何在Windows系统上本地部署ChatTTS,实现将文本转化为高质量的语音输出,并提供了简便的部署方法和使用指南。
33 2
Window本地部署ChatTTS
|
5天前
|
人工智能 监控 API
window本地部署Dify
这篇文章详细介绍了如何在Windows系统上本地部署Dify平台,并通过Docker进行环境搭建,实现基于大模型的AI应用开发和管理。
31 1
window本地部署Dify
|
5天前
|
Ubuntu API Python
Chat-TTS chat-tts-ui 实机部署上手测试!Ubuntu服务器实机 2070Super*2 8GB部署全流程
Chat-TTS chat-tts-ui 实机部署上手测试!Ubuntu服务器实机 2070Super*2 8GB部署全流程
25 1
|
5天前
|
Linux Shell API
ollama 大模型部署 工具 | AIGC
Ollama是一个集成了多种大型语言模型的工具,它支持模型的部署、运行以及API的整合和调用。Ollama为不同操作系统的用户提供了便捷的安装方式,并具备丰富的命令行界面(CLI)和API接口,使得用户可以轻松地管理和运行大型模型。【10月更文挑战第1天】
17 0
|
2月前
|
Linux 测试技术 API
Ollama+Qwen2,轻松搭建支持函数调用的聊天系统
本文介绍如何通过Ollama结合Qwen2,搭建OpenAI格式的聊天API,并与外部函数结合来拓展模型的更多功能。
|
3月前
|
自然语言处理
Ollama部署本地模型
Ollama 是一个用于本地部署大型语言模型的平台。首先关闭 ollama 服务,在环境变量中设置 `OLLAMA_MODELS` 为目标模型路径,`OLLAMA_ORIGINS` 为 `"*"`,重启服务和 VSCode。启动服务 `ollama serve`,运行 `ollama run codegeex4`。配置插件接口地址为 `http://localhost:11434/v1/chat/completions`,并在模型名称处填入 `codegeex4` 启用高级模式。可能需优化下载速度并解决其他问题。
301 4
|
2月前
|
并行计算 TensorFlow 算法框架/工具
Window安装TensorFlow-GPU版本
Window安装TensorFlow-GPU版本
42 0