没错!这篇博客的标题就是使用DeepSeek给予的灵感,最终结合自身的对比衡量,使用了较喜欢的标题。(如果冲着教程,建议直接查看“部署步骤”)
伟大的DeepSeek
DeepSeek在2025年春节期间突然爆火出圈,推出了自研的千亿参数级大模型DeepSeek-R1,具备多模态理解、复杂推理和持续学习能力,支持长上下文处理(最高128K tokens)。DeepSeek掀起了一批暴热的流量,放眼世界,DeepSeek无疑是一部伟大的作品。
对飙openAI o1正式版,DeepSeek的诞生标志着国产大模型能够在世界AI领域具有先进性、可塑性和发展性。
部署意义
在目前DeepSeek的网站中,极不稳定,总是服务器繁忙,这时候本地部署就可以有效规避问题。
优势
- 提升稳定性:不请求网络,避免服务器繁忙的问题。
- 提高安全性:不联网,部署在本地,个人数据隐私性大大提高。
- 定制化:可以自行训练大模型,打造属于自己专业的“玩伴”。
- 低成本:打开网页就可以问,没有什么多余成本。
劣势
- 高成本:前期部署需要一定时间,如果换模型又需要下载。
- 局限性:一般自己用的计算机CPU、GPU性能十分有限,绝大多无法支撑DeepSeek完全体。
- 灵活性差:在线版是DeepSeek官方维护的,一直在迭代和提升能力,本地无法第一时间跟上官方优化的步伐。
部署步骤
保姆级教程来啦!我们的目标是要将DeepSeek在本地部署,能够在不联网的情况下使用DeepSeek帮助我们解决问题。老规矩,三步走。
- 下载ollama
- 下载DeepSeek-r1大模型
- 尽情享受吧(建议再进行UI可视化部署)
下载ollama
我们要将DeepSeek部署到本地,至少先安装基础能力,Ollama 是一个开源框架,可以非常便捷部署和运行大型语言模型。【ollama官网】
进入官网,点击Download,网站会根据系统类型匹配下载包的系统类型。(有macOs、windows、Linux)
本人电脑是mac系统,所以下载的macOs的产物,点击“Download for macOs”。
下载完毕之后解压,运行。
安装完毕后,打开cmd,输入命令ollam。如果出现ollama相关的命令集合,则第一步顺利完成!
ollama
下载deepseek-r1
回到ollama官网,在搜索框输入“deepseek-r1”,去下载r1大模型。
这里先选择一下模型的量级,我这里选择了7b。(越大越强大,但配置要求更高,自己玩的话7b足够,如果电脑性能较差建议1.5b)
复制代码在命令行执行,等待下载完毕。
ollama run deepseek-r1:7b
途中可能会越来越慢,最终速度可能会定在200kb/s左右,这里分享一个小技巧。如果下载速度一直很慢甚至停滞不前,可以ctrl+c一下,继续执行刚才的命令。(有断点续传,每次初始加载会突破峰值)
下载完毕后,就可以和它对话了,7b的量级属实有些不够,但也算是完成了本地部署。
但是,用cmd去交流有些粗糙了吧,是否可以在本地运行一个web应用,从而实现UI可视化呢!
搭建可视化UI
最简单的方式,我们使用Chatbox AI快速载入模型,即可使用本地的DeepSeek-r1模型。首先点击“启动网页版”。【Chatbox AI官网】
进入“网页版”后,点击“Settings”打开设置面板。
在提供模型选择栏中选择“Ollama API”。
在Model选择中选择“deepSeek-r1:latest”,不同的版本可能名称不同,选就对了。其他的配置项都按照预设,点击“save”即可。
最终,我们可以看到对话框载入了我们选择的deepseek-r1模型,尽情享用吧!
没有Model的情况
在选择Model时可能出现以下情况,下拉框中并没有任何模型。这是因为ChatBox认定系统中没有可用的模型。
这就配置一下ollama的远程服务了,打开cmd,分别执行以下命令,将本地与ollama的远程服务进行对接。(macOS)
launchctl setenv OLLAMA_HOST "0.0.0.0" launchctl setenv OLLAMA_ORIGINS "*"
最终关闭ollama,再重启,刷新页面,重新“Settings”就好了。
如果是windows或者Linux系统,可以参考ChatBox说明文档。【ChatBox说明文档】
总结
本地部署最大的好处是稳定,最大的劣势在于电脑没有强大的配置无法支撑完全体DeepSeek的大模型。说真的,本地部署纯粹只是玩儿一下,671b的完全体需要404GB空间以及强大的算力,是我们普通计算机远不能及的条件。在大量使用DeepSeek后发现,虽然DeepSeek完全体目前与GPT-4o有较大差距,但事物的发展总是需要时间的,这次DeepSeek给我国AI领域带了个好头,我相信DeepSeek的潜力,也相信我们国家的AI技术会越来越强。