5分钟Deepseek R1本地化部署

在人工智能领域，DeepSeek的崛起犹如一颗璀璨的新星，迅速吸引了全球科技界的目光。作为一款基于Transformer架构的先进大语言模型，DeepSeek凭借其强大的自然语言处理能力和高效的推理速度，在文本生成、问答系统、翻译、摘要等多个任务中展现出了卓越的性能。其独特的训练数据多样性和模型架构优化，使得DeepSeek能够更好地理解上下文语义，生成更加连贯和准确的文本。近年来，DeepSeek从发布第二代模型DeepSeek-V2，到推出总参数高达6710亿的DeepSeek-V3，再到性能与OpenAI的GPT-4正式版相当的DeepSeek-R1，每一次迭代都带来了技术的重大突破。其高性价比的开源策略，不仅显著降低了企业采用AI技术的门槛，还推动了AI技术的普惠化。如今，DeepSeek已经成为全球AI领域的有力竞争者，其本地化部署更是成为了众多开发者和研究人员关注的焦点。本文将详细介绍DeepSeek本地化部署的全过程，带您深入了解这款备受瞩目的大语言模型。

deepseek本地化部署的快速方式就是通过ollama。Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源框架。它简化了大型语言模型的部署过程，提供了轻量级与可扩展的架构，并支持多种操作系统和模型格式，使得研究人员、开发人员和爱好者能够更加方便地在本地环境中运行和定制这些模型。Ollama的出现极大地拓宽了大型语言模型的应用范围，并在多个领域展现出广泛的应用前景。

Ollama是一个集成了多种大型语言模型的工具，它支持模型的部署、运行以及API的整合和调用。Ollama为不同操作系统的用户提供了便捷的安装方式，并具备丰富的命令行界面（CLI）和API接口，使得用户可以轻松地管理和运行大型模型。

目前Ollama官方支持deepseek r1模型

一、安装

Ollama的安装方式因操作系统而异，以下是主要操作系统的安装步骤：

macOS

1. 安装Homebrew（如果尚未安装）：

   • 打开终端，输入以下命令安装Homebrew：/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2. 安装Ollama：

   • 在终端中输入brew install ollama命令进行安装。

3. 验证安装：

   • 安装完成后，可以通过输入ollama --version来验证Ollama是否安装成功。

Windows

1. 下载安装包：

   • 访问Ollama的官方网站，下载适用于Windows的安装包。

2. 运行安装包：

   • 双击下载的安装包，按照提示完成安装。默认安装路径通常为C:\Users\{你的电脑账户名}\AppData\Local\Programs\Ollama。

3. 配置环境变量（如遇到ollama命令无法使用的情况）：

   • 控制面板 → 系统 → 高级系统设置 → 环境变量 → 在系统变量中找到Path → 编辑 → 新建，添加Ollama的安装路径。

4. 验证安装：

   • 打开命令提示符，输入ollama --version来验证安装是否成功。

Linux

1. 更新包列表（以Debian/Ubuntu为例）：

   • 打开终端，输入sudo apt-get update命令。

2. 安装Ollama：

   • 输入curl -fsSL https://ollama.com/install.sh | sh命令进行安装
3. 验证安装：
   • 输入ollama --version来验证安装是否成功。

二、启动

Ollama的启动可以通过命令行完成，使用ollama serve或其别名serve、start命令即可启动Ollama服务。Ollama将自动处理模型的加载和配置，无需用户手动干预。

也可以通过sudo systemctl start ollama, 具体的启动service

# /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

三、常用命令

Ollama提供了丰富的命令行工具，以下是一些常用命令：

1. 启动Ollama服务：ollama serve
2. 从模型文件创建模型：ollama create [模型名称] -f [模型文件路径]
3. 显示模型信息：ollama show [模型名称]
4. 运行模型：ollama run [模型名称] [输入文本]
5. 从注册表中拉取模型：ollama pull [模型名称]
6. 将模型推送到注册表：ollama push [模型名称]
7. 列出所有模型：ollama list
8. 复制模型：ollama cp [源模型名称] [目标模型名称]
9. 删除模型：ollama rm [模型名称]
10. 获取帮助信息：ollama help

特别的，可以通过ollama ps查看模型运行负载情况

ollama ps
NAME          ID              SIZE     PROCESSOR    UNTIL
llama3:70b    bcfb190ca3a7    42 GB    100% GPU     4 minutes from now

可以通过ollama run deepseek-r1:70b 来下载模型和启动CLI

模型默认在

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\%username%.ollama\models

四、接口API使用

ollama run模型后会启动一个http服务： localhost:11434,可以通过prompt和chat方式和大模型进行交互

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:70b",
  "prompt":"Why is the sky blue?"
}'

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:70b",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}

ollama也提供了openai式的接口

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',

    # required but ignored
    api_key='ollama',
)

chat_completion = client.chat.completions.create(
    messages=[
        {
   
            'role': 'user',
            'content': 'Say this is a test',
        }
    ],
    model='deepseek-r1:70b',
)


completion = client.completions.create(
    model="deepseek-r1:70b",
    prompt="Say this is a test",
)

list_completion = client.models.list()

model = client.models.retrieve("deepseek-r1:70b")

embeddings = client.embeddings.create(
    model="all-minilm",
    input=["why is the sky blue?", "why is the grass green?"],
)

五、ollama还支持的模型

ollama支持绝大多数开源大模型和一些多模态模型

更全的参考

• https://ollama.com/library