手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手

简介: DeepSeek R1 + LobeChat + Ollama:快速本地部署模型,创建个性化 AI 助手

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


快速介绍

deepseek

DeepSeek R1 是由深度求索(DeepSeek)公司推出并开源的第一代推理模型,在数学、代码和推理任务上的性能与OpenAI-o1相当。

ollama

Ollama 是一个开源工具,简化了大型语言模型(LLM)在本地环境的部署与管理。它支持多种主流模型(如 Llama 3、Mistral 等),用户可通过命令行快速下载、运行和微调模型,无需依赖云端服务。

lobechat

LobeChat 是一款开源的聊天机器人界面框架,支持无缝集成多种大模型(如 GPT、Claude 或本地部署的 Ollama 模型),以及插件扩展机制(如联网搜索、文件解析),提供直观的用户交互体验。

利用 Ollama 快速本地部署 DeepSeek R1 模型

1. 安装 Ollama

访问 Ollama 官网进行下载,根据操作系统选择对应版本:

Ollama 官网下载地址https://ollama.com/download

ollama_download

  • Windows / macOS:直接下载安装包,双击运行并按提示安装。

  • Linux:执行命令运行一键安装脚本

    curl -fsSL https://ollama.com/install.sh | sh
    

2. 启动 Ollama

安装完成后需要启动 Ollama。注意!Ollama 并没有图形化的操作界面,而是作为服务在后台运行。

  • Windows/macOS:安装后会自动启动服务,在任务栏/菜单栏中会显示 Ollama 的应用图标,如果没有自动启动,可以通过双击应用图标手动启动。

  • Linux:需运行命令手动启动服务:

    systemctl start ollama
    

3. 了解 Ollama 模型库

Ollama 模型库 是 Ollama 官方维护的 预训练大语言模型(LLM)集合,它类似于一个“模型应用商店”,提供开箱即用的模型下载与管理服务。用户无需手动配置模型参数或格式,可直接通过命令行快速调用、运行和微调模型。

ollama_models

4. 了解 DeepSeek-R1 模型的参数规模

访问 Ollama 模型库中 DeepSeek-R1 模型的介绍页,可以看到其支持不同参数规模的模型。

ollama_deepseek-r1

在人工智能领域,模型名称中的 B(如1.5B、7B、70B)代表 Billion(十亿),即模型的参数规模。例如,70B 表示模型包含约 700 亿个可训练参数。参数数量直接反映了模型的复杂度和能力,不同规模的模型在性能、资源需求和适用场景上差异显著。

在这里我们应该根据自己的电脑硬件配置和需求,按照以下表格选择合适的参数规模的 DeepSeek-R1 模型。

DeepSeek R1 参数规模与硬件配置对照表

模型规模 量化等级推荐 Apple Silicon (M系列) 配置要求 x86 (AMD/Intel) 配置要求 适用场景
1.5B 8-bit 或 4-bit - 最低配置:M1 8GB RAM(纯CPU)
- 建议配置:M1/M2 16GB RAM
- 最低配置:i5/R5 + 8GB RAM(无GPU)
- 建议配置:核显(如Intel Iris Xe) + 16GB RAM
轻量级对话、简单文本生成
7B 6-bit 或 4-bit - 最低配置:M1 16GB RAM(纯CPU)
- 建议配置:M2/M3 24GB RAM(GPU加速)
- 最低配置:i7/R7 + 16GB RAM + 6GB显存(如RTX 3060)
- 建议配置:RTX 4070 或同级显卡 + 32GB RAM
通用对话、代码生成、文案创作
8B 5-bit 或 4-bit - 最低配置:M2 24GB RAM(GPU加速)
- 建议配置:M3 Max 48GB RAM
- 最低配置:i9/R9 + 32GB RAM + 8GB显存(如RTX 3080)
- 建议配置:RTX 4080 + 64GB RAM
复杂推理、长文本生成
14B 4-bit 或 3-bit - 最低配置:M2 Ultra 64GB RAM(GPU加速)
- 建议配置:M3 Max 128GB RAM
- 最低配置:RTX 4090 24GB显存 + 64GB RAM
- 建议配置:双卡(如双RTX 4090) + 128GB RAM
专业级数据分析、多轮复杂交互
32B 3-bit 或 2-bit - 仅限 M3 Ultra 192GB RAM(需量化优化) - 最低配置:双RTX 6000 Ada 48GB显存 + 128GB RAM
- 建议配置:服务器级硬件(如A100/H100)
科研计算、大规模知识检索
70B 2-bit 或 低精度优化 - 不推荐,需云端协作 - 仅限多卡服务器(如4x RTX 4090/A100) 企业级私有化部署
671B 需专用优化 - 无法本地运行 - 需分布式计算集群(如GPU农场) 超大规模模型研究

5. 下载和运行 DeepSeek R1 模型

确保 Ollama 服务正常运行后,在控制台执行如下命令:

ollama run deepseek-r1

注意!该命令默认拉取的是 7B 的 DeepSeek R1 模型,如果想使用其他参数规模的模型,就需要在模型名称后面追加指定指定的参数规模。例如:

ollama run deepseek-r1:8b

执行命令后,Ollama 会自动下载并运行 DeepSeek R1 模型。

ollama_run

如上图,模型运行成功后,会在控制台出现输入提示。输入内容就可以直接跟模型交互,模型的输出内容也会完整地显示在控制台中。

至此,你已经学会如何利用 Ollama 快速拉取和本地部署大模型了。

Ollama 不止支持 DeepSeek R1 这类大语言模型,在 Ollama 模型库中你还可以找到其他的视觉语言模型、向量模型等 AI 模型,通过对应介绍页的命令同样可以快速地将其拉取到本地部署和运行。

通过控制台能够与大模型完成交互操作,但始终是不够优雅,下面让我们使用 LobeChat 来更加优雅地与模型进行交互。

私有化部署 LobeChat 打造个性化 AI 助手

1. 安装 Docker 容器环境(如果已安装,请跳过此步)

为了私有化部署 LobeChat,我们还需要 Docker 作为服务支持。

这里我们选择下载Docker Desktop,它的优势在于安装 Docker 服务的同时还提供了一个 Docker 可视化交互界面,能够非常直观地看到 Docker 服务的运行状态,以及当前运行的 Docker 容器。

docker_get-started

选择对应操作系统的 Docker Desktop 进行安装即可,安装包提供了完整的安装步骤,全程直接下一步就行了,这里就不多赘述了。

2. 通过 Docker Compose 部署 LobeChat

在你的工作目录下,新建一个文件并命名为docker-compose,编辑文件内容如下:

version: '3.8'

services:
  lobe-chat:
    image: lobehub/lobe-chat
    container_name: lobe-chat
    restart: always
    ports:
      - '3210:3210'
    environment:
      ACCESS_CODE: lobe66

打开控制台,运行以下命令,将会自动拉取并启动 LobeChat 服务:

docker-compose up -d

启动成功后,打开 Docker Desktop 可以看到运行中的 LobeChat 服务及运行的端口:

docker_lobechat

LobeChat 服务默认运行在3210端口,通过浏览器访问 LobeChat 应用:

http://localhost:3210/chat

界面如下:

lobechat_index

3. 配置 Ollama 作为模型服务端

点击 LobeChat 左上角的 Logo 后进入应用设置页面:

lobechat_user

在打开的应用设置页面中,找到语言模型设置,可以看到 LobeChat 支持了许多主流的模型服务接口,包括 Ollama 服务:

lobechat_model_setting

点击 Ollama 并打开选项后,可以看到 Ollama 服务的相关配置,启动的 Ollama 服务默认运行在11434端口,所以这里 Ollama 的服务地址默认即可,主要配置的是模型列表。

4. 配置 DeepSeek R1 模型

确保 Ollama 服务正在运行,点击获取模型列表可以获取 Ollama 当前下载的模型列表:

lobechat_get_ollama_models

如果你已经按照前面的步骤通过 Ollama 成功下载了 DeepSeek R1 模型,那么就可以在更新后的模型列表中找到并选择 DeepSeek R1 模型:

lobechat_set_ollama_deepseek-r1

点击连通性检查,可以检查 Ollama 服务的配置是否正确,运行状态和模型交互是否正常:

lobechat_ollama_check

5. 通过 LobeChat 与 DeepSeek R1 模型交互

回到 LobeChat 的应用主页,点击当前对话的 AI 助手,如图所示,点击选项后会弹出模型设置中配置完成的模型列表。

这里我们选择上一步配置完成的 DeepSeek R1 模型作为交互对象:

lobechat_select_model

至此,你已经能够通过 LobeChat 配置 Ollama 模型,接下来你可以像聊天一样,发送输入的内容与模型完成交互:

lobechat_chat

6. 打造个性化 AI 助手

lobechat_new_chat

点击新建助手按钮后将会新建一个新的对话,同时它也是一个支持自定义的 AI 助手:

lobechat_customer

点击助手设置(会话设置),在角色设定中可以配置当前 AI 助手的系统提示词(System Prompt),这是用于定义助手行为、个性和任务范围的核心指令。

通过设置系统提示词向模型提供明确的约束条件,将会直接影响助手的输出风格、内容质量和交互方式,是打造个性化 AI 助手的关键所在。

lobechat_chat_setting

除了配置 AI 助手的系统提示词,还可以配置当前会话的模型参数,一般默认即可:

lobechat_chat_model_setting

现在,你可以按照自己的想法和创意,设置个性化的角色 Prompt 提示词,打造个性化的 AI 助手了!

lobechat_customer_test

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
2月前
|
云安全 人工智能 自然语言处理
阿里云x硅基流动:AI安全护栏助力构建可信模型生态
阿里云AI安全护栏:大模型的“智能过滤系统”。
1748 120
|
2月前
|
人工智能 测试技术 API
构建AI智能体:二、DeepSeek的Ollama部署FastAPI封装调用
本文介绍如何通过Ollama本地部署DeepSeek大模型,结合FastAPI实现API接口调用。涵盖Ollama安装、路径迁移、模型下载运行及REST API封装全过程,助力快速构建可扩展的AI应用服务。
689 6
|
3月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
1581 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
2月前
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
304 120
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
644 13
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
|
3月前
|
机器学习/深度学习 人工智能 搜索推荐
当AI遇上癌症:聊聊个性化治疗的新可能
当AI遇上癌症:聊聊个性化治疗的新可能
149 15
|
2月前
|
机器学习/深度学习 人工智能 搜索推荐
拔俗AI学伴智能体系统:基于大模型与智能体架构的下一代个性化学习引擎
AI学伴智能体系统融合大模型、多模态理解与自主决策,打造具备思考能力的个性化学习伙伴。通过动态推理、长期记忆、任务规划与教学逻辑优化,实现千人千面的自适应教育,助力因材施教落地,推动教育公平与效率双提升。(238字)
|
2月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
535 33
|
2月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
454 30

热门文章

最新文章