❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦
快速介绍
DeepSeek R1 是由深度求索(DeepSeek)公司推出并开源的第一代推理模型,在数学、代码和推理任务上的性能与OpenAI-o1相当。
Ollama 是一个开源工具,简化了大型语言模型(LLM)在本地环境的部署与管理。它支持多种主流模型(如 Llama 3、Mistral 等),用户可通过命令行快速下载、运行和微调模型,无需依赖云端服务。
LobeChat 是一款开源的聊天机器人界面框架,支持无缝集成多种大模型(如 GPT、Claude 或本地部署的 Ollama 模型),以及插件扩展机制(如联网搜索、文件解析),提供直观的用户交互体验。
利用 Ollama 快速本地部署 DeepSeek R1 模型
1. 安装 Ollama
访问 Ollama 官网进行下载,根据操作系统选择对应版本:
Ollama 官网下载地址:https://ollama.com/download
Windows / macOS:直接下载安装包,双击运行并按提示安装。
Linux:执行命令运行一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh
2. 启动 Ollama
安装完成后需要启动 Ollama。注意!Ollama 并没有图形化的操作界面,而是作为服务在后台运行。
Windows/macOS:安装后会自动启动服务,在任务栏/菜单栏中会显示 Ollama 的应用图标,如果没有自动启动,可以通过双击应用图标手动启动。
Linux:需运行命令手动启动服务:
systemctl start ollama
3. 了解 Ollama 模型库
Ollama 模型库 是 Ollama 官方维护的 预训练大语言模型(LLM)集合,它类似于一个“模型应用商店”,提供开箱即用的模型下载与管理服务。用户无需手动配置模型参数或格式,可直接通过命令行快速调用、运行和微调模型。
- Ollama 模型库:https://ollama.com/search
4. 了解 DeepSeek-R1 模型的参数规模
访问 Ollama 模型库中 DeepSeek-R1 模型的介绍页,可以看到其支持不同参数规模的模型。
- Ollama DeepSeek-R1 模型:https://ollama.com/library/deepseek-r1
在人工智能领域,模型名称中的 B(如1.5B、7B、70B)代表 Billion(十亿),即模型的参数规模。例如,70B 表示模型包含约 700 亿个可训练参数。参数数量直接反映了模型的复杂度和能力,不同规模的模型在性能、资源需求和适用场景上差异显著。
在这里我们应该根据自己的电脑硬件配置和需求,按照以下表格选择合适的参数规模的 DeepSeek-R1 模型。
DeepSeek R1 参数规模与硬件配置对照表
模型规模 | 量化等级推荐 | Apple Silicon (M系列) 配置要求 | x86 (AMD/Intel) 配置要求 | 适用场景 |
---|---|---|---|---|
1.5B | 8-bit 或 4-bit | - 最低配置:M1 8GB RAM(纯CPU) - 建议配置:M1/M2 16GB RAM |
- 最低配置:i5/R5 + 8GB RAM(无GPU) - 建议配置:核显(如Intel Iris Xe) + 16GB RAM |
轻量级对话、简单文本生成 |
7B | 6-bit 或 4-bit | - 最低配置:M1 16GB RAM(纯CPU) - 建议配置:M2/M3 24GB RAM(GPU加速) |
- 最低配置:i7/R7 + 16GB RAM + 6GB显存(如RTX 3060) - 建议配置:RTX 4070 或同级显卡 + 32GB RAM |
通用对话、代码生成、文案创作 |
8B | 5-bit 或 4-bit | - 最低配置:M2 24GB RAM(GPU加速) - 建议配置:M3 Max 48GB RAM |
- 最低配置:i9/R9 + 32GB RAM + 8GB显存(如RTX 3080) - 建议配置:RTX 4080 + 64GB RAM |
复杂推理、长文本生成 |
14B | 4-bit 或 3-bit | - 最低配置:M2 Ultra 64GB RAM(GPU加速) - 建议配置:M3 Max 128GB RAM |
- 最低配置:RTX 4090 24GB显存 + 64GB RAM - 建议配置:双卡(如双RTX 4090) + 128GB RAM |
专业级数据分析、多轮复杂交互 |
32B | 3-bit 或 2-bit | - 仅限 M3 Ultra 192GB RAM(需量化优化) | - 最低配置:双RTX 6000 Ada 48GB显存 + 128GB RAM - 建议配置:服务器级硬件(如A100/H100) |
科研计算、大规模知识检索 |
70B | 2-bit 或 低精度优化 | - 不推荐,需云端协作 | - 仅限多卡服务器(如4x RTX 4090/A100) | 企业级私有化部署 |
671B | 需专用优化 | - 无法本地运行 | - 需分布式计算集群(如GPU农场) | 超大规模模型研究 |
5. 下载和运行 DeepSeek R1 模型
确保 Ollama 服务正常运行后,在控制台执行如下命令:
ollama run deepseek-r1
注意!该命令默认拉取的是 7B 的 DeepSeek R1 模型,如果想使用其他参数规模的模型,就需要在模型名称后面追加指定指定的参数规模。例如:
ollama run deepseek-r1:8b
执行命令后,Ollama 会自动下载并运行 DeepSeek R1 模型。
如上图,模型运行成功后,会在控制台出现输入提示。输入内容就可以直接跟模型交互,模型的输出内容也会完整地显示在控制台中。
至此,你已经学会如何利用 Ollama 快速拉取和本地部署大模型了。
Ollama 不止支持 DeepSeek R1 这类大语言模型,在 Ollama 模型库中你还可以找到其他的视觉语言模型、向量模型等 AI 模型,通过对应介绍页的命令同样可以快速地将其拉取到本地部署和运行。
通过控制台能够与大模型完成交互操作,但始终是不够优雅,下面让我们使用 LobeChat 来更加优雅地与模型进行交互。
私有化部署 LobeChat 打造个性化 AI 助手
1. 安装 Docker 容器环境(如果已安装,请跳过此步)
为了私有化部署 LobeChat,我们还需要 Docker 作为服务支持。
这里我们选择下载Docker Desktop
,它的优势在于安装 Docker 服务的同时还提供了一个 Docker 可视化交互界面,能够非常直观地看到 Docker 服务的运行状态,以及当前运行的 Docker 容器。
- Docker 安装指南:https://docs.docker.com/get-started/get-docker/
选择对应操作系统的 Docker Desktop 进行安装即可,安装包提供了完整的安装步骤,全程直接下一步就行了,这里就不多赘述了。
2. 通过 Docker Compose 部署 LobeChat
在你的工作目录下,新建一个文件并命名为docker-compose
,编辑文件内容如下:
version: '3.8'
services:
lobe-chat:
image: lobehub/lobe-chat
container_name: lobe-chat
restart: always
ports:
- '3210:3210'
environment:
ACCESS_CODE: lobe66
打开控制台,运行以下命令,将会自动拉取并启动 LobeChat 服务:
docker-compose up -d
启动成功后,打开 Docker Desktop 可以看到运行中的 LobeChat 服务及运行的端口:
LobeChat 服务默认运行在3210
端口,通过浏览器访问 LobeChat 应用:
http://localhost:3210/chat
界面如下:
3. 配置 Ollama 作为模型服务端
点击 LobeChat 左上角的 Logo 后进入应用设置
页面:
在打开的应用设置页面中,找到语言模型
设置,可以看到 LobeChat 支持了许多主流的模型服务接口,包括 Ollama 服务:
点击 Ollama 并打开选项后,可以看到 Ollama 服务的相关配置,启动的 Ollama 服务默认运行在11434
端口,所以这里 Ollama 的服务地址默认即可,主要配置的是模型列表。
4. 配置 DeepSeek R1 模型
确保 Ollama 服务正在运行,点击获取模型列表
可以获取 Ollama 当前下载的模型列表:
如果你已经按照前面的步骤通过 Ollama 成功下载了 DeepSeek R1 模型,那么就可以在更新后的模型列表中找到并选择 DeepSeek R1 模型:
点击连通性检查
,可以检查 Ollama 服务的配置是否正确,运行状态和模型交互是否正常:
5. 通过 LobeChat 与 DeepSeek R1 模型交互
回到 LobeChat 的应用主页,点击当前对话的 AI 助手,如图所示,点击选项后会弹出模型设置
中配置完成的模型列表。
这里我们选择上一步配置完成的 DeepSeek R1 模型作为交互对象:
至此,你已经能够通过 LobeChat 配置 Ollama 模型,接下来你可以像聊天一样,发送输入的内容与模型完成交互:
6. 打造个性化 AI 助手
点击新建助手
按钮后将会新建一个新的对话,同时它也是一个支持自定义的 AI 助手:
点击助手设置
(会话设置),在角色设定中可以配置当前 AI 助手的系统提示词(System Prompt),这是用于定义助手行为、个性和任务范围的核心指令。
通过设置系统提示词向模型提供明确的约束条件,将会直接影响助手的输出风格、内容质量和交互方式,是打造个性化 AI 助手的关键所在。
除了配置 AI 助手的系统提示词,还可以配置当前会话的模型参数,一般默认即可:
现在,你可以按照自己的想法和创意,设置个性化的角色 Prompt 提示词,打造个性化的 AI 助手了!
资源
- DeepSeek 在线对话:https://chat.deepseek.com/
- Ollama 模型库:https://ollama.com/library
- Ollama DeepSeek R1 模型:https://ollama.com/library/deepseek-r1
- Docker 文档:https://docs.docker.com/get-started/
- LobeChat 官方文档:https://lobehub.com/zh/docs/usage/start
- LobeChat Docker Compose 部署指引:https://lobehub.com/zh/docs/self-hosting/platform/docker-compose
- LobeChat GitHub 仓库:https://github.com/lobehub/lobe-chat
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦