手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
简介: DeepSeek R1 + LobeChat + Ollama:快速本地部署模型,创建个性化 AI 助手

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


快速介绍

deepseek

DeepSeek R1 是由深度求索(DeepSeek)公司推出并开源的第一代推理模型,在数学、代码和推理任务上的性能与OpenAI-o1相当。

ollama

Ollama 是一个开源工具,简化了大型语言模型(LLM)在本地环境的部署与管理。它支持多种主流模型(如 Llama 3、Mistral 等),用户可通过命令行快速下载、运行和微调模型,无需依赖云端服务。

lobechat

LobeChat 是一款开源的聊天机器人界面框架,支持无缝集成多种大模型(如 GPT、Claude 或本地部署的 Ollama 模型),以及插件扩展机制(如联网搜索、文件解析),提供直观的用户交互体验。

利用 Ollama 快速本地部署 DeepSeek R1 模型

1. 安装 Ollama

访问 Ollama 官网进行下载,根据操作系统选择对应版本:

Ollama 官网下载地址https://ollama.com/download

ollama_download

  • Windows / macOS:直接下载安装包,双击运行并按提示安装。

  • Linux:执行命令运行一键安装脚本

    curl -fsSL https://ollama.com/install.sh | sh
    

2. 启动 Ollama

安装完成后需要启动 Ollama。注意!Ollama 并没有图形化的操作界面,而是作为服务在后台运行。

  • Windows/macOS:安装后会自动启动服务,在任务栏/菜单栏中会显示 Ollama 的应用图标,如果没有自动启动,可以通过双击应用图标手动启动。

  • Linux:需运行命令手动启动服务:

    systemctl start ollama
    

3. 了解 Ollama 模型库

Ollama 模型库 是 Ollama 官方维护的 预训练大语言模型(LLM)集合,它类似于一个“模型应用商店”,提供开箱即用的模型下载与管理服务。用户无需手动配置模型参数或格式,可直接通过命令行快速调用、运行和微调模型。

ollama_models

4. 了解 DeepSeek-R1 模型的参数规模

访问 Ollama 模型库中 DeepSeek-R1 模型的介绍页,可以看到其支持不同参数规模的模型。

ollama_deepseek-r1

在人工智能领域,模型名称中的 B(如1.5B、7B、70B)代表 Billion(十亿),即模型的参数规模。例如,70B 表示模型包含约 700 亿个可训练参数。参数数量直接反映了模型的复杂度和能力,不同规模的模型在性能、资源需求和适用场景上差异显著。

在这里我们应该根据自己的电脑硬件配置和需求,按照以下表格选择合适的参数规模的 DeepSeek-R1 模型。

DeepSeek R1 参数规模与硬件配置对照表

模型规模 量化等级推荐 Apple Silicon (M系列) 配置要求 x86 (AMD/Intel) 配置要求 适用场景
1.5B 8-bit 或 4-bit - 最低配置:M1 8GB RAM(纯CPU)
- 建议配置:M1/M2 16GB RAM
- 最低配置:i5/R5 + 8GB RAM(无GPU)
- 建议配置:核显(如Intel Iris Xe) + 16GB RAM
轻量级对话、简单文本生成
7B 6-bit 或 4-bit - 最低配置:M1 16GB RAM(纯CPU)
- 建议配置:M2/M3 24GB RAM(GPU加速)
- 最低配置:i7/R7 + 16GB RAM + 6GB显存(如RTX 3060)
- 建议配置:RTX 4070 或同级显卡 + 32GB RAM
通用对话、代码生成、文案创作
8B 5-bit 或 4-bit - 最低配置:M2 24GB RAM(GPU加速)
- 建议配置:M3 Max 48GB RAM
- 最低配置:i9/R9 + 32GB RAM + 8GB显存(如RTX 3080)
- 建议配置:RTX 4080 + 64GB RAM
复杂推理、长文本生成
14B 4-bit 或 3-bit - 最低配置:M2 Ultra 64GB RAM(GPU加速)
- 建议配置:M3 Max 128GB RAM
- 最低配置:RTX 4090 24GB显存 + 64GB RAM
- 建议配置:双卡(如双RTX 4090) + 128GB RAM
专业级数据分析、多轮复杂交互
32B 3-bit 或 2-bit - 仅限 M3 Ultra 192GB RAM(需量化优化) - 最低配置:双RTX 6000 Ada 48GB显存 + 128GB RAM
- 建议配置:服务器级硬件(如A100/H100)
科研计算、大规模知识检索
70B 2-bit 或 低精度优化 - 不推荐,需云端协作 - 仅限多卡服务器(如4x RTX 4090/A100) 企业级私有化部署
671B 需专用优化 - 无法本地运行 - 需分布式计算集群(如GPU农场) 超大规模模型研究

5. 下载和运行 DeepSeek R1 模型

确保 Ollama 服务正常运行后,在控制台执行如下命令:

ollama run deepseek-r1

注意!该命令默认拉取的是 7B 的 DeepSeek R1 模型,如果想使用其他参数规模的模型,就需要在模型名称后面追加指定指定的参数规模。例如:

ollama run deepseek-r1:8b

执行命令后,Ollama 会自动下载并运行 DeepSeek R1 模型。

ollama_run

如上图,模型运行成功后,会在控制台出现输入提示。输入内容就可以直接跟模型交互,模型的输出内容也会完整地显示在控制台中。

至此,你已经学会如何利用 Ollama 快速拉取和本地部署大模型了。

Ollama 不止支持 DeepSeek R1 这类大语言模型,在 Ollama 模型库中你还可以找到其他的视觉语言模型、向量模型等 AI 模型,通过对应介绍页的命令同样可以快速地将其拉取到本地部署和运行。

通过控制台能够与大模型完成交互操作,但始终是不够优雅,下面让我们使用 LobeChat 来更加优雅地与模型进行交互。

私有化部署 LobeChat 打造个性化 AI 助手

1. 安装 Docker 容器环境(如果已安装,请跳过此步)

为了私有化部署 LobeChat,我们还需要 Docker 作为服务支持。

这里我们选择下载Docker Desktop,它的优势在于安装 Docker 服务的同时还提供了一个 Docker 可视化交互界面,能够非常直观地看到 Docker 服务的运行状态,以及当前运行的 Docker 容器。

docker_get-started

选择对应操作系统的 Docker Desktop 进行安装即可,安装包提供了完整的安装步骤,全程直接下一步就行了,这里就不多赘述了。

2. 通过 Docker Compose 部署 LobeChat

在你的工作目录下,新建一个文件并命名为docker-compose,编辑文件内容如下:

version: '3.8'

services:
  lobe-chat:
    image: lobehub/lobe-chat
    container_name: lobe-chat
    restart: always
    ports:
      - '3210:3210'
    environment:
      ACCESS_CODE: lobe66

打开控制台,运行以下命令,将会自动拉取并启动 LobeChat 服务:

docker-compose up -d

启动成功后,打开 Docker Desktop 可以看到运行中的 LobeChat 服务及运行的端口:

docker_lobechat

LobeChat 服务默认运行在3210端口,通过浏览器访问 LobeChat 应用:

http://localhost:3210/chat

界面如下:

lobechat_index

3. 配置 Ollama 作为模型服务端

点击 LobeChat 左上角的 Logo 后进入应用设置页面:

lobechat_user

在打开的应用设置页面中,找到语言模型设置,可以看到 LobeChat 支持了许多主流的模型服务接口,包括 Ollama 服务:

lobechat_model_setting

点击 Ollama 并打开选项后,可以看到 Ollama 服务的相关配置,启动的 Ollama 服务默认运行在11434端口,所以这里 Ollama 的服务地址默认即可,主要配置的是模型列表。

4. 配置 DeepSeek R1 模型

确保 Ollama 服务正在运行,点击获取模型列表可以获取 Ollama 当前下载的模型列表:

lobechat_get_ollama_models

如果你已经按照前面的步骤通过 Ollama 成功下载了 DeepSeek R1 模型,那么就可以在更新后的模型列表中找到并选择 DeepSeek R1 模型:

lobechat_set_ollama_deepseek-r1

点击连通性检查,可以检查 Ollama 服务的配置是否正确,运行状态和模型交互是否正常:

lobechat_ollama_check

5. 通过 LobeChat 与 DeepSeek R1 模型交互

回到 LobeChat 的应用主页,点击当前对话的 AI 助手,如图所示,点击选项后会弹出模型设置中配置完成的模型列表。

这里我们选择上一步配置完成的 DeepSeek R1 模型作为交互对象:

lobechat_select_model

至此,你已经能够通过 LobeChat 配置 Ollama 模型,接下来你可以像聊天一样,发送输入的内容与模型完成交互:

lobechat_chat

6. 打造个性化 AI 助手

lobechat_new_chat

点击新建助手按钮后将会新建一个新的对话,同时它也是一个支持自定义的 AI 助手:

lobechat_customer

点击助手设置(会话设置),在角色设定中可以配置当前 AI 助手的系统提示词(System Prompt),这是用于定义助手行为、个性和任务范围的核心指令。

通过设置系统提示词向模型提供明确的约束条件,将会直接影响助手的输出风格、内容质量和交互方式,是打造个性化 AI 助手的关键所在。

lobechat_chat_setting

除了配置 AI 助手的系统提示词,还可以配置当前会话的模型参数,一般默认即可:

lobechat_chat_model_setting

现在,你可以按照自己的想法和创意,设置个性化的角色 Prompt 提示词,打造个性化的 AI 助手了!

lobechat_customer_test

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
4天前
|
人工智能 物联网 开发者
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
Oumi 是一个完全开源的 AI 平台,支持从 1000 万到 4050 亿参数的模型训练,涵盖文本和多模态模型,提供零样板代码开发体验。
115 43
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
YuE:开源AI音乐生成模型,能够将歌词转化为完整的歌曲,支持多种语言和多种音乐风格
YuE 是香港科技大学和 M-A-P 联合开发的开源 AI 音乐生成模型,能够将歌词转化为完整的歌曲,支持多种音乐风格和多语言。
94 23
YuE:开源AI音乐生成模型,能够将歌词转化为完整的歌曲,支持多种语言和多种音乐风格
|
6天前
|
人工智能 编解码 语音技术
SpeechGPT 2.0:复旦大学开源端到端 AI 实时语音交互模型,实现 200ms 以内延迟的实时交互
SpeechGPT 2.0 是复旦大学 OpenMOSS 团队推出的端到端实时语音交互模型,具备拟人口语化表达、低延迟响应和多情感控制等功能。
89 21
SpeechGPT 2.0:复旦大学开源端到端 AI 实时语音交互模型,实现 200ms 以内延迟的实时交互
|
6天前
|
机器学习/深度学习 人工智能 API
Aligner:自动修正AI的生成结果,北大推出残差修正模型对齐技术
介绍北大团队提出的 Aligner 模型对齐技术,通过学习对齐答案与未对齐答案之间的修正残差,提升大语言模型的性能。
64 28
|
2天前
|
人工智能 搜索推荐 程序员
AI神器Deepseek:3分钟搞定一篇爆款文案!
大家好,我是小米,一个31岁、热爱分享技术的自媒体人。本文将介绍如何使用Deepseek写文案。Deepseek是一款基于AI的文案生成工具,能快速生成高质量文案,支持多种语言风格,帮助提高写作效率。文中通过具体案例——为咖啡店新品“焦糖玛奇朵”撰写推广文案,详细讲解了从明确目标到发布文案的全过程,并提供了优化和应用技巧。如果你还在为写文案发愁,不妨试试Deepseek,它将成为你的得力助手!
113 22
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
VideoWorld:字节开源自回归视频生成模型,支持输入视频指导AI生成视频!弥补文本生成视频的短板
VideoWorld 是由字节跳动、北京交通大学和中国科学技术大学联合推出的自回归视频生成模型,能够从未标注的视频数据中学习复杂知识,支持长期推理和规划任务。
131 8
VideoWorld:字节开源自回归视频生成模型,支持输入视频指导AI生成视频!弥补文本生成视频的短板
|
17天前
|
人工智能 编解码
CogVideoX-Flash:智谱首个免费AI视频生成模型,支持文生视频、图生视频,分辨率最高可达4K
CogVideoX-Flash 是智谱推出的首个免费AI视频生成模型,支持文生视频、图生视频,最高支持4K分辨率,广泛应用于内容创作、教育、广告等领域。
200 5
CogVideoX-Flash:智谱首个免费AI视频生成模型,支持文生视频、图生视频,分辨率最高可达4K
|
17天前
|
人工智能 自然语言处理 API
百聆:集成Deepseek API及语音技术的开源AI语音对话助手,实时交互延迟低至800ms
百聆是一款开源的AI语音对话助手,结合ASR、VAD、LLM和TTS技术,提供低延迟、高质量的语音对话体验,适用于边缘设备和低资源环境。
400 4
百聆:集成Deepseek API及语音技术的开源AI语音对话助手,实时交互延迟低至800ms
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
DeepSeek逆天,核心是 知识蒸馏(Knowledge Distillation, KD),一项 AI 领域的关键技术
尼恩架构团队推出《LLM大模型学习圣经》系列,涵盖从Python开发环境搭建到精通Transformer、LangChain、RAG架构等核心技术,帮助读者掌握大模型应用开发。该系列由资深架构师尼恩指导,曾助力多位学员获得一线互联网企业的高薪offer,如网易的年薪80W大模型架构师职位。配套视频将于2025年5月前发布,助你成为多栖超级架构师。此外,尼恩还提供了NIO、Docker、K8S等多个技术领域的学习圣经PDF,欢迎领取完整版资源。
|
23天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。

热门文章

最新文章