一文了解火爆的DeepSeek R1 | AIGC

在当今人工智能领域，推理能力是衡量大型语言模型性能的重要指标之一。DeepSeek R1作为一款基于强化学习的开源推理模型，自推出以来便以其强大的推理能力和广泛的应用场景吸引了众多开发者和研究者的关注。本文将全面讲解DeepSeek R1的各项功能，并通过代码例子进行具体说明。

一、DeepSeek R1简介

DeepSeek R1是由DeepSeek公司推出的一款基于强化学习（RL）的开源推理模型。它无需依赖监督微调（SFT）或人工标注数据，完全通过强化学习训练而成。DeepSeek R1在数学、代码和自然语言推理任务上表现出色，其推理能力媲美甚至超越了OpenAI的O1正式版。同时，DeepSeek R1还具备低成本、高效率、多语言支持等优势，可广泛应用于教育辅导、金融分析、企业智能化升级等领域。

二、DeepSeek R1的核心功能及代码示例

1. 长链推理支持

DeepSeek R1支持长链推理（Chain of Thought, CoT），能够生成数万字的思维链，显著提高复杂任务的推理准确性。以下是一个简单的长链推理示例代码：

# 假设DeepSeek R1已经通过Ollama框架在本地部署
# 在终端运行以下命令启动模型（以1.5B版本为例）
# ollama run deepseek-r1:1.5b

# 通过Python脚本与模型进行交互
import subprocess

# 定义问题
question = "请解释机器学习中的过拟合现象，并给出防止过拟合的方法。"

# 将问题传递给DeepSeek R1模型并获取答案
process = subprocess.Popen(['ollama', 'run', 'deepseek-r1:1.5b', '--input', question], stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)
output, error = process.communicate()

# 打印答案
print("DeepSeek R1的回答：")
print(output)

解释说明：上述代码首先通过Ollama框架启动DeepSeek R1模型，然后通过Python的subprocess模块将问题传递给模型，并获取模型的回答。模型回答中包含了详细的推理过程和结论，体现了DeepSeek R1强大的长链推理能力。

2. 多语言支持

DeepSeek R1基于混合专家架构（Mixture of Experts, MoE），支持多种语言和技术领域。以下是一个多语言支持的示例代码：

# 同样假设DeepSeek R1已经通过Ollama框架在本地部署

# 定义问题（法语）
question_french = "Expliquez le phénomène de surapprentissage en apprentissage automatique et donnez des méthodes pour le prévenir."

# 将法语问题传递给DeepSeek R1模型并获取答案
process = subprocess.Popen(['ollama', 'run', 'deepseek-r1:1.5b', '--input', question_french], stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)
output_french, error = process.communicate()

# 打印答案
print("DeepSeek R1对法语问题的回答：")
print(output_french)

解释说明：上述代码展示了DeepSeek R1对法语问题的处理能力。通过调整输入问题的语言，模型能够生成相应语言的回答，体现了其多语言支持的特性。

3. 高效部署与成本效益

DeepSeek R1的运行成本仅为OpenAI的3%左右，同时提供了API服务，降低了企业用户的使用门槛。以下是一个通过API服务获取模型回答的示例代码：

import requests

# DeepSeek R1的API端点（假设）
api_endpoint = "http://api.deepseek.com/r1/predict"

# 定义问题
question = "请编写一个Python函数来计算两个数的和。"

# 将问题作为请求数据发送给API
response = requests.post(api_endpoint, json={
   "question": question})

# 打印API返回的答案
print("DeepSeek R1 API的回答：")
print(response.json()["answer"])

解释说明：上述代码通过HTTP POST请求将问题发送给DeepSeek R1的API端点，并获取API返回的答案。这种方式无需在本地部署模型，降低了部署成本，提高了灵活性。

三、DeepSeek R1 为什么成本低？

DeepSeek R1成本低的原因可以从多个维度进行深入分析，特别是其绕开CUDA的技术突破，显著降低了硬件和软件层面的成本。以下是对DeepSeek R1成本低原因的详细剖析：

算法与训练流程创新

1. 纯强化学习训练路径：

   • DeepSeek R1摒弃了传统大模型训练中先监督学习微调（SFT）再强化学习（RL）的策略，完全采用纯强化学习训练路径。这减少了对大量标注数据的依赖，降低了数据成本。
   • 创新的群体相对策略优化（GRPO）算法进一步提升了训练效率，降低了内存消耗，使得在相同硬件条件下可以训练更大规模的模型。

2. 混合训练流程：

   • 虽然采用了纯强化学习为基础，但DeepSeek R1在迭代训练模式上巧妙地结合了监督学习与强化学习的优势，形成了“SFT → RL → SFT → RL”的混合训练流程。这种训练方式提升了训练效率，加速了模型迭代，从而间接降低了成本。

计算优化与资源利用

1. FP8混合精度训练：

   • DeepSeek R1大胆地将权重存储精度降至FP8（8位浮点），虽然牺牲了一定的精度，但在大模型训练中足以保持模型性能。这一举措显著减少了内存占用，提升了计算吞吐量，降低了计算成本。

2. 动态序列长度调整：

   • 根据输入文本的实际长度动态调整计算资源分配，避免了固定长度处理方式下的计算浪费。这种灵活的策略降低了计算开销，有效节省了计算资源。

3. 革命性的分布式训练架构：

   • DeepSeek R1推出了DualPipe并行架构，重叠计算与通信操作，大幅减少了“流水线气泡时间”，提高了训练效率。
   • 采用NVLink+InfiniBand双通道传输技术，提升了集群内部GPU的通信效率，加速了模型训练进程。

硬件利用率优化与成本控制

1. 极致工程化改造：

   • 通过自定义CUDA内核和算子融合技术，深入优化了底层计算代码，提升了H800 GPU的MFU（模型FLOP利用率），远超行业平均水平。这意味着在相同硬件条件下可以完成更多计算任务，降低了硬件成本。

2. 集群级负载均衡：

   • 在多GPU集群环境下实现了高持续利用率，避免了资源闲置，最大化了生产效率。

3. 创新的租赁模式：

   • 采用按需GPU租赁策略，结合错峰训练调度，将硬件成本压缩至极低水平。这种灵活的租赁模式降低了自建数据中心的高昂成本和维护费用。

绕开CUDA的技术突破

• DeepSeek R1通过直接编写PTX代码，绕过了CUDA的限制，实现了对GPU资源的更灵活、更高效的利用。这一突破打破了英伟达CUDA在AI领域的垄断地位，为其他GPU厂商提供了发展契机。
• 绕开CUDA不仅降低了开发者的成本负担（无需购买英伟达的高价GPU和相应开发工具），还推动了AI技术的普及和应用。

1. CUDA/PTX代码编写：

   • DeepSeek R1在GPU上的实现涉及大量的CUDA/PTX代码编写。CUDA是英伟达推出的一种并行计算平台和编程模型，而PTX（Parallel Thread Execution）是CUDA的底层指令集架构。DeepSeek R1通过直接编写PTX代码，绕过了CUDA的限制，实现了对GPU资源的更灵活、更高效的利用。

2. 计算优化：

   • DeepSeek R1在GPU上进行了多项计算优化，包括混合精度训练（如FP8权重存储精度）、算子融合、动态序列长度调整等。这些优化措施显著提高了计算效率，降低了内存占用，从而实现了更高的性能和更低的成本。

3. 分布式训练：

   • DeepSeek R1支持分布式训练，能够在多GPU集群环境下进行高效的模型训练。通过采用DualPipe并行架构和NVLink+InfiniBand双通道传输技术，DeepSeek R1实现了集群内部GPU的高效通信和负载均衡，进一步提高了训练效率。

综上所述，DeepSeek R1成本低的原因主要包括算法与训练流程的创新、计算优化与资源利用的高效、硬件利用率优化的极致以及绕开CUDA的技术突破。这些举措共同作用下，使得DeepSeek R1在保持高性能的同时，实现了成本的显著降低。

四、 关于群体相对策略优化（Group Relative Policy Optimization，GRPO）算法

DeepSeek R1中的群体相对策略优化（Group Relative Policy Optimization，GRPO）算法是一种创新性的强化学习算法，旨在提高训练效率，降低计算成本，同时保持或提升模型性能。以下是对GRPO算法的详细介绍：

算法核心

GRPO算法的核心在于通过优化策略模型（Policy Model），使其在特定任务中表现最佳。与传统的策略优化方法不同，GRPO不依赖于与策略模型同规模的评价模型（Critic Model），而是通过组内评分的方法估计基线，从而简化了计算过程。

算法优势

1. 计算效率高：由于无需与策略模型同规模的评价模型，GRPO算法显著降低了计算资源的消耗。
2. 稳定性强：通过KL散度约束，GRPO算法避免了策略模型的大幅度剧烈更新，提高了训练的稳定性。
3. 易于扩展：GRPO算法的结构使其更易于适应不同规模和复杂度的语言模型，具备良好的扩展性。

算法流程

GRPO算法的训练流程大致如下：

1. 问题采样：从问题分布P(Q)中采样一个问题q。
2. 输出采样：使用旧的策略模型πθold生成一组输出{o1, o2, …, oG}。
3. 奖励计算：对于每个输出oi，根据预设的奖励机制计算其对应的奖励ri。
4. 优势计算：基于奖励ri，计算优势函数Ai。优势函数用于衡量输出oi相对于组内平均表现的优劣。
5. 策略更新：通过最大化GRPO目标函数，更新当前策略模型πθ，同时控制策略模型与预设偏好模型πpref之间的KL散度，确保更新的稳定性。

综上所述，DeepSeek R1中的群体相对策略优化（GRPO）算法是一种高效、稳定且易于扩展的强化学习算法。通过优化策略模型并降低计算成本，GRPO算法为提升模型的推理能力提供了新的方法。

五、如何写DeepSeek R1的prompt 提示词

DeepSeek R1作为一个深度推理模型，其提示词写作技巧与通用模型有所不同。以下将详细介绍DeepSeek R1的提示词写作技巧，并通过不同例子进行说明：

明确目标，抛弃结构化框架

DeepSeek R1是一个推理模型，而非通用模型。因此，在使用时，应明确目标，而不是给模型任务。传统的结构化提示词，如“你是一个XXX，现在我的任务是XXX，你要按照1、2、3步来给我执行……”在DeepSeek R1上可能效果不佳。相反，应直接表达目标，把模型当作一个能力很强但不知道具体需求的员工，放手让它去做。

例子：

• 传统方式：“请扮演新能源汽车行业专家，从市场规模、竞争格局、技术发展趋势等方面分析新能源汽车市场。”
• DeepSeek R1方式：“我打算投资新能源汽车，但对行业了解较少。请分析当前市场上值得关注的品牌和车型，介绍它们的优势，以及行业未来几年的发展前景，要求通俗易懂，帮助我做出投资决策。”

简洁明了，提供关键信息

编写提示词时，应简洁明了，避免复杂句式和模糊的词语。同时，提供上下文信息和关键细节有助于模型更好地理解任务背景。

例子：

• 模糊提示：“介绍科技。”
• 明确提示：“介绍人工智能在医疗影像诊断中的应用及发展趋势。”

使用“说人话”功能

当模型输出的内容过于专业或抽象时，可以使用“说人话”这三个字，让模型用更简单明了的语言重新表达。

例子：

• 专业输出：“量子计算机的工作原理涉及许多复杂的物理概念和数学理论。”
• “说人话”输出：“量子计算机就像是一台能够同时处理很多事情的超级电脑，它通过一种特殊的方式让信息存储和计算变得更加高效。”

分步引导和角色扮演

对于复杂任务，可以分步引导模型逐步处理信息，避免一次性处理过多内容。同时，角色扮演可以让模型从特定的角度给出更专业的建议。

分步引导例子：

• 分析市场时，可以分成几个小问题：“第一步：分析智能手机市场的主要竞争者；第二步：列出每个竞争者的市场份额和产品特点；第三步：预测市场未来的趋势。”

角色扮演例子：

• 制定餐厅的营销策略时，可以让模型扮演市场营销专家：“为新开的意大利餐厅设计一个为期一个月的线上线下推广方案，重点宣传特色菜和舒适的用餐环境。”

结合具体场景，优化提示词

在不同的场景下，应结合具体需求优化提示词。例如，在创作时，可以结合目标受众的兴趣和文化背景选择主导风格；在提供建议时，可以指定具体的条件和要求。

创作例子：

• 写一篇春天的散文，模仿朱自清《春》的文风：“模仿朱自清《春》的文风，写一篇春天的散文。”

提供建议例子：

• 推荐三个适合亲子游的国内城市，预算5000元以内，旅游时长三天，考虑景点的趣味性和安全性：“推荐三个适合亲子游的国内城市，预算在5000元以内，旅游时长为三天。请考虑景点的趣味性和安全性。”

综上所述，DeepSeek R1的提示词写作技巧主要包括明确目标、简洁明了、使用“说人话”功能、分步引导和角色扮演以及结合具体场景优化提示词。通过掌握这些技巧，可以更好地利用DeepSeek R1进行推理和创作。

六、DeepSeek R1对国外AI公司的震撼？

国外公司如OpenAI、NVIDIA、Meta等对DeepSeek R1的看法和应对措施各有不同。OpenAI在肯定DeepSeek R1的同时，也在反思自身的开源策略；NVIDIA则看到了DeepSeek R1为其GPU业务带来的机遇；而Meta则对开源模型持支持态度，并计划在人工智能领域进行大规模投资。这些公司的不同看法和应对措施将共同塑造人工智能行业的未来竞争格局。

OpenAI

1. 看法：

   • OpenAI的首席研究员Mark Chen对DeepSeek R1的推理能力表示了肯定，认为其为行业带来了新的思考方向。
   • 对于DeepSeek R1所引发的开源讨论，OpenAI表现出了谨慎态度。Mark Chen指出，OpenAI在成本控制和开源问题上有着更为严谨的考量，必须确保技术的安全性和可控性。

2. 应对措施：

   • 推出了o3-mini系列模型，作为OpenAI推理系列中最新且具备最高成本效益的模型。
   • 在Reddit的线上AMA活动中，首席执行官萨姆·奥尔特曼（Sam Altman）表示，OpenAI在开源方面可能站错了队，需要探寻不同的开源策略。尽管这一观点并非OpenAI内部的共识，且并非当前最高优先事项，但它引发了业内对于OpenAI战略转变的猜测。

NVIDIA

1. 看法：

   • NVIDIA发言人称DeepSeek推出的R1模型是实现人工智能（AI）重大进步的一个典范。
   • NVIDIA认为DeepSeek的技术在缩短测试时间和优化计算能力方面具有重要意义，为各类AI应用奠定了新的基础。
   • DeepSeek的突破将为其GPU业务创造更多的工作和需求，因为推理过程依赖于高性能计算。

2. 应对措施：

   • NVIDIA并未直接针对DeepSeek R1推出具体的应对措施，但可以从其表态中看出，NVIDIA对DeepSeek的技术进步表示了认可，并期待与其在GPU业务上的合作。

Meta

1. 看法：

   • Meta的首席AI科学家Yann Lecun对DeepSeek在人工智能行业中所取得的成功进行了评估，并认为其愿景是将AI模型开源以便每个人都可以从中受益。
   • Lecun指出，DeepSeek的成功并不是要使中国领先于AI行业的美国，而是要确保开源模型仍在领先。他认为开源模型超过了专有的模型。

2. 应对措施：

   • Meta并未直接针对DeepSeek R1推出具体的应对措施，但可以从其首席AI科学家的表态中看出，Meta对开源模型持支持态度，并期待与DeepSeek等开源AI公司进行合作。
   • Meta首席执行官马克·扎克伯格宣布计划在2025年斥资超过600亿美元，准备在人工智能领域进行大规模投资，这可能包括与开源AI公司的合作。

七、DeepSeek R1的应用场景

DeepSeek R1可广泛应用于教育辅导、金融分析、企业智能化升级等领域。例如，在教育领域，它可以帮助学生准备SAT和GRE考试；在金融领域，它可辅助分析师进行风险评估。以下是一个在教育领域应用DeepSeek R1的示例代码：

# 假设DeepSeek R1已经通过Ollama框架在本地部署

# 定义数学问题
math_question = "解方程：3x + 5 = 14。"

# 将数学问题传递给DeepSeek R1模型并获取答案
process = subprocess.Popen(['ollama', 'run', 'deepseek-r1:1.5b', '--input', math_question], stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True)
output_math, error = process.communicate()

# 打印答案
print("DeepSeek R1对数学问题的回答：")
print(output_math)

解释说明：上述代码展示了DeepSeek R1在数学问题解答方面的能力。通过调整输入问题的内容，模型能够生成相应的数学解答，为教育领域提供了有力的支持。

八、总结

DeepSeek R1作为一款基于强化学习的开源推理模型，凭借其强大的推理能力、多语言支持、高效部署和广泛的应用场景，在人工智能领域展现出了巨大的潜力。通过本文的介绍和代码示例，相信读者对DeepSeek R1有了更深入的了解。未来，随着DeepSeek R1的不断升级和完善，它将在更多领域发挥更大的作用。