轻松在本地部署 DeepSeek 蒸馏模型并无缝集成到你的 IDE

简介: 本文将详细介绍如何在本地部署 DeepSeek 蒸馏模型,内容主要包括 Ollama 的介绍与安装、如何通过 Ollama 部署 DeepSeek、在 ChatBox 中使用 DeepSeek 以及在 VS Code 中集成 DeepSeek 等。

前言

2025 年 1 月 27 日,DeepSeek 在苹果中美两区的 App 免费榜单双双登顶,超越了长期占据榜单的 GPT,这一突破性进展引发了投资者的广泛关注,甚至导致英伟达股价大幅下跌。从那时起,DeepSeek 一举成为网络热点,广受关注,各大媒体纷纷报道。DeepSeek 之前开源的 DeepSeek-R1 蒸馏模型,也吸引了大量用户在本地设备上部署这一开源版本。

本文将详细介绍如何在本地部署 DeepSeek 蒸馏模型,内容主要包括 Ollama 的介绍与安装、如何通过 Ollama 部署 DeepSeek、在 ChatBox 中使用 DeepSeek 以及在 VS Code 中集成 DeepSeek 等。

准备好了吗?准备一杯你最喜欢的咖啡或茶,随着本文一探究竟吧。

Go-Let'sGo.jpg

Ollama

Ollama 是一个强大的开源工具,旨在帮助用户轻松地在本地运行、部署和管理大型语言模型(LLMs)。它提供了一个简单的命令行界面,使用户能够快速下载、运行和与各种预训练的语言模型进行交互。Ollama 支持多种模型架构,并且特别适合那些希望在本地环境中使用 LLMs 的开发者和研究人员。

主要特点

  • 本地运行:Ollama 允许用户在本地计算机上运行大型语言模型,而不需要依赖云服务。这对于数据隐私和安全性要求较高的场景非常有用。

  • 简单易用:通过命令行工具,用户可以轻松地下载、安装和运行模型。Ollama 提供了简单的命令来启动模型并与模型进行交互。

  • 支持多种模型:Ollama 支持多种流行的语言模型,包括 Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2 等。用户可以根据自己的需求选择合适的模型。

  • 跨平台支持:Ollama 支持多种操作系统,包括 Linux、macOSWindows,用户可以在不同的平台上使用相同的工具。

  • 开源:Ollama 是一个开源项目,用户可以自由地查看、修改和分发其代码。

安装

Ollama 下载页面,我们可以根据自己操作系统类型选择不同的下载方式。

在 Windows 下安装

下载 OllamaSetup.exe 文件之后,打开文件,点击 Install 后等待安装完成。

1.png

2.png

安装完成后,打开 cmd 命令行窗口,输入 ollama -v 验证是否安装成功。

3.png

在 Mac 下安装

下载 Ollama-darwin.zip 文件之后,解压并打开执行文件安装即可。

4.png

安装完成之后,打开终端,输入 ollama -v 验证是否安装成功。

5.png

在 Linux 下安装

运行以下命令进行安装:

curl -fsSL https://ollama.com/install.sh | sh

Deepseek

DeepSeek 是一家创新型科技公司,长久以来专注于开发先进的大语言模型(LLM)和相关技术。该公司推出了比较出名的模型有 DeepSeek-V3DeekSeek-R1DeepSeek-V3 多项评测成绩超越了 Qwen2.5-72BLlama-3.1-405B 等其他开源模型,并在性能上和世界顶尖的闭源模型 GPT-4o 以及 Claude-3.5-Sonnet 不分伯仲。DeepSeek-R1 在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力。在数学、代码、自然语言推理等任务上,性能比肩 OpenAI o1 正式版。

本地部署

6.png

前面我们已经安装好了 Ollama,接下来可以借助 Ollama 工具来部署 Deepseek 大模型。

首先,访问 Deepsee Model 的 deepseek-r1 模型页面,在这个页面中,我们可以看到 1.5b7b 等不同规模的模型版本,每个版本右侧会明确标注每个版本所需的显存配置。

其次,根据自己电脑的显卡配置选择合适的版本。例如,部署 deepseek-r1:7b 版本:

$ ollama run deepseek-r1:7b
pulling manifest 
pulling 96c415656d37... 100% ▕████████████████▏ 4.7 GB                         
pulling 369ca498f347... 100% ▕████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████▏  148 B                         
pulling 40fb844194b2... 100% ▕████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success

部署完成后,我们就可以与 Deepseek 大模型进行对话了:

>>> 你好
<think>

</think>

你好!很高兴见到你,有什么我可以帮忙的吗?无论是学习、工作还是生活中的问题,
都可以告诉我哦!😊

ChatBox

通过 Ollama 部署 Deepseek 模型之后,我们就可以在终端与其进行对话了。由于是在终端里面,交互体验相对较为简洁和不够直观,长时间的对话可能会让操作变得不够流畅。为了更方便地与模型进行对话,我们可以使用可视化的聊天项目,例如 Open WebUIChatBox 等。通过这些工具,我们能够获得更加直观和流畅的交互体验。接下来将演示如何安装并通过 ChatBox 使用 Deepseek

安装

  • 首先,进入 Chatboxai,通过 免费下载 按钮下载软件安装包并进行安装。

7.png

  • 然后打开 Chatbox。首次打开我们会看到以下选项,选择 “使用自己的 API Key 或本地模型”,然后在新的标签页里选择 Ollama API

8.png

9.png

  • 接下来,我们能在模型列表里看到通过 Ollama 所部署的大模型,选择 deepseek-r1:7b,然后点击保存。

10.png

  • 保存之后,我们就可以在对话框里与 Deepseek 大模型进行对话了。

11.png

在 VS Code 里集成 Deepseek

接下来,我将演示如何在 VS Code 中通过 Continue 插件集成 DeepseekContinue 是一款领先的开源 AI 代码助手。我们可以将任意模型和上下文连接起来,在 VS CodeJetBrains 中构建定制化的自动补全和聊天功能。

  • 首先,安装 Cotinue 插件。

12.png

  • 其次,点击 Add Chat model 添加模型。

13.png

  • 接下来,Provider 选项选择 Ollama,Model 选项选择 Autodetect,然后点击 Connect,这样就可以自动选择我们刚才所部署的 deepseek-r1:7b 模型了。

14.png

15.png

  • 对话测试与代码生成测试:

16.png

17.png

JetBrains 系列开发工具中集成 DeepSeek 的方式,与在 VS Code 中的集成方法类似。

小结

借助 Ollama 工具,本地部署 DeepSeek 蒸馏模型的过程非常简单。然而,需要注意的是,本地部署的 DeepSeek 大模型在性能上与官网提供的在线版本存在显著差距,尤其是在模型的思考能力和响应速度方面。除非拥有高性能显卡以支持部署更强大的蒸馏模型,并能够进行本地数据训练,否则建议优先使用官方提供的 Web 版或 App 版本,以获得更优质的使用体验。


你好,我是陈明勇,一名热爱技术、乐于分享的开发者,同时也是开源爱好者。

成功的路上并不拥挤,有没有兴趣结个伴?

关注我,加我好友,一起学习一起进步!

目录
相关文章
|
3月前
|
机器学习/深度学习 Python
堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能
本文深入探讨了堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能。文章详细介绍了堆叠的实现步骤,包括数据准备、基础模型训练、新训练集构建及元学习器训练,并讨论了其优缺点。
144 3
|
27天前
|
人工智能 数据可视化 开发者
FlowiseAI:34K Star!集成多种模型和100+组件的 LLM 应用低代码开发平台,拖拽组件轻松构建程序
FlowiseAI 是一款开源的低代码工具,通过拖拽可视化组件,用户可以快速构建自定义的 LLM 应用程序,支持多模型集成和记忆功能。
109 14
FlowiseAI:34K Star!集成多种模型和100+组件的 LLM 应用低代码开发平台,拖拽组件轻松构建程序
|
19天前
|
人工智能 JSON 数据可视化
集成500+多模态现实任务!全新MEGA-Bench评测套件:CoT对开源模型反而有害?
多模态模型在处理图像、文本、音频等数据方面能力不断提升,但其性能评估一直是个挑战。为此,研究团队推出了MEGA-Bench评测套件,集成505个现实任务,涵盖广泛领域和数据类型,由16位专家标注。它采用灵活输出格式,提供多维度评估指标,并配有交互式可视化工具,为模型优化提供了重要支持。然而,评估过程复杂且耗时,COT方法对开源模型性能的影响也值得探讨。论文链接:https://arxiv.org/abs/2410.10563
51 29
|
1月前
|
人工智能 JSON 安全
DeepSeek Engineer:集成 DeepSeek API 的开源 AI 编程助手,支持文件读取、编辑并生成结构化响应
DeepSeek Engineer 是一款开源AI编程助手,通过命令行界面处理用户对话并生成结构化JSON,支持文件操作和代码生成。
658 5
DeepSeek Engineer:集成 DeepSeek API 的开源 AI 编程助手,支持文件读取、编辑并生成结构化响应
|
6月前
|
机器学习/深度学习 存储 前端开发
实战揭秘:如何借助TensorFlow.js的强大力量,轻松将高效能的机器学习模型无缝集成到Web浏览器中,从而打造智能化的前端应用并优化用户体验
【8月更文挑战第31天】将机器学习模型集成到Web应用中,可让用户在浏览器内体验智能化功能。TensorFlow.js作为在客户端浏览器中运行的库,提供了强大支持。本文通过问答形式详细介绍如何使用TensorFlow.js将机器学习模型带入Web浏览器,并通过具体示例代码展示最佳实践。首先,需在HTML文件中引入TensorFlow.js库;接着,可通过加载预训练模型如MobileNet实现图像分类;然后,编写代码处理图像识别并显示结果;此外,还介绍了如何训练自定义模型及优化模型性能的方法,包括模型量化、剪枝和压缩等。
145 1
|
6月前
|
机器学习/深度学习
【机器学习】模型融合Ensemble和集成学习Stacking的实现
文章介绍了使用mlxtend和lightgbm库中的分类器,如EnsembleVoteClassifier和StackingClassifier,以及sklearn库中的SVC、KNeighborsClassifier等进行模型集成的方法。
75 1
|
6月前
|
API UED 开发者
如何在Uno Platform中轻松实现流畅动画效果——从基础到优化,全方位打造用户友好的动态交互体验!
【8月更文挑战第31天】在开发跨平台应用时,确保用户界面流畅且具吸引力至关重要。Uno Platform 作为多端统一的开发框架,不仅支持跨系统应用开发,还能通过优化实现流畅动画,增强用户体验。本文探讨了Uno Platform中实现流畅动画的多个方面,包括动画基础、性能优化、实践技巧及问题排查,帮助开发者掌握具体优化策略,提升应用质量与用户满意度。通过合理利用故事板、减少布局复杂性、使用硬件加速等技术,结合异步方法与预设缓存技巧,开发者能够创建美观且流畅的动画效果。
111 0
|
6月前
|
开发者 算法 虚拟化
惊爆!Uno Platform 调试与性能分析终极攻略,从工具运用到代码优化,带你攻克开发难题成就完美应用
【8月更文挑战第31天】在 Uno Platform 中,调试可通过 Visual Studio 设置断点和逐步执行代码实现,同时浏览器开发者工具有助于 Web 版本调试。性能分析则利用 Visual Studio 的性能分析器检查 CPU 和内存使用情况,还可通过记录时间戳进行简单分析。优化性能涉及代码逻辑优化、资源管理和用户界面简化,综合利用平台提供的工具和技术,确保应用高效稳定运行。
127 0
|
6月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
全面解析TensorFlow Lite:从模型转换到Android应用集成,教你如何在移动设备上轻松部署轻量级机器学习模型,实现高效本地推理
【8月更文挑战第31天】本文通过技术综述介绍了如何使用TensorFlow Lite将机器学习模型部署至移动设备。从创建、训练模型开始,详细演示了模型向TensorFlow Lite格式的转换过程,并指导如何在Android应用中集成该模型以实现预测功能,突显了TensorFlow Lite在资源受限环境中的优势及灵活性。
581 0
|
7月前
|
机器学习/深度学习 分布式计算 算法
Java中的机器学习模型集成与训练实践
Java中的机器学习模型集成与训练实践

热门文章

最新文章