当算力受限、数据参差，如何训练出高效可用的端侧模型？鹏城实验室联合清华不仅给出了答案，更将每一步都开源共享。
如果实验室只有国产算力、有限资源与开源数据，能否玩转端侧模型的预训练？鹏城实验室与清华大学 PACMAN 实验室联合发布了鹏城脑海‑2.1‑开元‑2B（PCMind‑2.1‑Kaiyuan‑2B，简称"开元‑2B"）模型，并以全流程开源的方式回应了这一挑战——从训练数据、数据处理框架、训练框架、完整技术报告到最终模型权重，全部以 Apache-2.0 许可证开源。
模型下载：
Model：https://modelscope.cn/thu-pacman/PCMind-2.1-Kaiyuan-2B
HuggingFace: thu-pacman/PCMind-2.1-Kaiyuan-2B
其他内容可见模型主页，或者本文底部。
全流程开源模型的前沿探索
此次开源不仅为国内研究者提供了一条可复现、可迭代的技术路径，也展现了在国产计算平台上实现高效、稳定预训练的完整解决方案。
开元‑2B 的训练依托鹏城脑海 2 计算平台，数据处理基于华为鲲鹏 920，训练系统基于华为昇腾 910A。由于昇腾 910A 仅支持 FP16 精度（类似于 NVIDIA V100），训练稳定性成为首要挑战。
为此，研究团队在 Qwen3‑1.7B 的架构基础上，引入了 三明治范数（Sandwich Norm）与软裁剪（Soft Clipping） 两项关键技术。
- 三明治范数：在 Transformer 每层前后保留归一化层，有效控制梯度传播中的数值范围
- 软裁剪：通过对输出 logits 应用 tanh 非线性变换，将数值稳定在合理区间内，防止训练发散
(a): 三明治范数（Sandwich Normalization）与 Logits 软裁剪（Soft-capping）的公式定义。
(b): 引入三明治范数与 Logits 软裁剪前后，模型激活值统计的对比结果。
这些技术不仅使训练在 FP16 环境下保持稳定，也为后续国产平台上的大规模训练提供了重要参考。
当前开源预训练数据规模已达 TB 级别，来源多样、质量不均，如何从中筛选出高质量部分并制定混合策略，是训练优质模型的基础。开元‑2B 面对两个核心问题：
- 如何从海量数据中筛选高质量子集？
- 如何在不同数据集之间建立统一的质量评价标准？
研究团队开发了 Kaiyuan‑Spark 数据处理框架，采用树状流水线设计，全程 YAML 配置管理，易于复现与扩展。结合诸葛弩计算框架进行本地加速，在 MinHash 去重任务中实现端到端 2.5 倍的加速比，高效完成 TB 级数据的全局模糊去重。
为解决数据集之间质量标签不可比的问题，团队提出分位标定：通过设计小规模探针实验，构建数据质量分数与下游任务表现之间的映射关系。
[分位标定流程示意图]
具体做法：
- 从不同数据集中按质量分位数抽取多个子集
- 使用小规模模型进行训练测试
- 根据下游任务表现反向标定各数据集的质量区间
该方法成本低、可迁移，为后续大规模训练的数据配比提供了科学依据。
基于分位标定，团队得出若干有趣发现：
1. 数据集的优势与任务类型相关
- Fineweb‑Edu 在知识问答与阅读理解类任务上表现更好
- DCLM‑Baseline 在常识推理类任务中略有优势
> [DCLM Baseline 和 Fineweb-Edu 在 MMLU 和 WinoGrande 上的分位标定结果]
2. 同一数据集内部质量差异巨大
- 最高与最低质量数据在 ARC‑Easy 上的表现相差可达 8%‑15%
> [DCLM Baseline 和 Fineweb-Edu 在 ARC-Easy 上的分位标定结果]
结论：高质量数据占比虽小，却是提升模型能力的关键。
针对数据分布不均的问题，开元‑2B 提出三方面策略：
随着训练推进，逐步提升数学、代码、中文等领域数据的比例，缓解模型遗忘，使关键领域在训练后期得到充分学习。
[多阶段调整数据比例]
小规模实验表明，对高质量数据进行适度重复训练，效果优于单轮训练。开元‑2B 在训练后期逐步提高高质量数据的重复比例。
以 Fineweb-Edu 为例：
- Top 10% 的高质量数据在整个训练过程中出现多次
- 中低质量数据仅出现一次
从而优化数据效用分布。
[Fineweb-Edu 在多阶段训练中采样比例变化]
研究团队提出 Curriculum Decay Model Average (https://arxiv.org/abs/2511.18903)，在课程学习的基础上引入权重平均，缓解训练噪声，提升收敛稳定性。
该方法通过领域内质量排序与领域间比例均衡的结合，实现多领域数据的渐进式学习。
[学习率衰减会影响课程学习效果]
[不同学习率衰减条件下，最优的课程学习+权重平均配置（Ascend+EMA）要强于最优的常见做法（Uniform+WSD）]
[多领域课程的实现]
配合精心设计的学习率调度方案，模型在高质量数据上得以充分学习，最终在多类评测中接近千问系列（仅开源权重）的模型表现。
开元‑2B 不仅是一次端侧模型训练的实践，更是一次全栈开源、全流程透明的技术示范。
从数据处理框架 Kaiyuan‑Spark、训练数据集，到数据评价体系、课程学习策略，所有环节均公开可复现。训练中涉及的所有原始数据集均具有宽松的开源协议（如 CC、Apache、MIT、ODC 等，详细列表技术报告附录 B），个人、院校、企业均可自由使用，进一步提升了训练的可复现性。
注：目前部分声称“开放”的公开数据集，事实上本身并非使用自由许可证授权，或者间接混入了带有非自由许可证的原始数据；另有大量的公开数据集，对来源数据的许可证未加任何筛选或说明。在模型训练中使用此类数据集并发布或使用，都可能带来潜在的法律合规风险。
这为国内研究者在国产算力平台上开展模型预训练提供了完整工具箱，也为构建开放、协作的 AI 研发生态迈出坚实一步。
模型权重、技术报告与相关代码已在官方平台发布，欢迎开发者、研究者共同参与测试、改进与拓展。
下列所有内容，均以 Apache-2.0 许可证开源。
模型：
Model：https://modelscope.cn/thu-pacman/PCMind-2.1-Kaiyuan-2B
HuggingFace: thu-pacman/PCMind-2.1-Kaiyuan-2B
数据集：
Model：https://modelscope.cn/datasets/thu-pacman/PCMind-2.1-Kaiyuan-2B
HuggingFace: thu-pacman/PCMind-2.1-Kaiyuan-2B-Dataset
技术报告：
arXiv:2512.07612
数据处理框架：
GitHub: thu-pacman/Kaiyuan-Spark
训练框架：
GitHub: thu-pacman/kaiyuan-mindformers
我们相信，真正的技术进步源自开放的协作与共享。开元‑2B 是一个起点，期待与社区一起，在国产算力的土壤上，生长出更多创新的 AI 成果，从开元系列，开启国产算力训练的"开元盛世"。
附录：
https://modelscope.cn/datasets/thu-pacman/PCMind-2.1-Kaiyuan-2B
