SAPO：让强化学习告别“硬剪切”
SAPO提出一种稳定高效的大语言模型强化学习方法，通过平滑门控替代硬剪切，解决GRPO/GSPO梯度丢失与不稳定问题。其连续信任域、序列级一致性及token级自适应设计，显著提升训练稳定性与样本效率，适用于dense/MoE模型，在数学、代码、逻辑等多任务上表现优越。
知识蒸馏
知识蒸馏是一种模型压缩技术，通过让小模型（学生）模仿大模型（教师）的输出或中间特征，实现性能逼近甚至超越。核心方法包括基于软标签的Hinton蒸馏、带温度的softmax平滑分布、以及利用隐藏层特征的特征蒸馏。分为黑盒（仅用输出）与白盒（访问内部）两种模式，广泛用于加速推理与提升小模型泛化能力。（238字）
预训练技巧
预训练是大模型的核心基础，涵盖混合精度、分布式训练、ZeRO优化、FlashAttention等关键技术，通过高效计算与显存优化，实现大规模模型的快速稳定训练。
强化学习
强化学习（RL）是一种通过智能体与环境交互，以最大化累积奖励为目标的学习方法。核心包括状态、动作、奖励、策略与价值函数，依赖试错和延迟奖励机制。常见算法如Q-learning、PPO、DPO等，广泛应用于游戏、机器人及大模型训练。结合人类反馈（RLHF），可实现对齐人类偏好的智能行为优化。（239字）
分词器详解
分词器将文本转为模型可处理的数字序列，主流算法有BPE、WordPiece和SentencePiece。BPE高效但中文支持弱；WordPiece用于BERT，适合英文；SentencePiece语言无关，支持中日文。实战中常用SentencePiece处理中文，Hugging Face工具处理英文。面试需掌握算法差异、中文分词策略、词汇表设计及OOV问题解决。
注意力机制详解
注意力机制是Transformer核心，通过自注意力、交叉注意力等实现序列间动态关联。多头、分组、多查询等变体在效率与性能间权衡，广泛应用于大模型设计，助力高效长序列建模与推理优化。
位置编码详解
位置编码为Transformer提供序列位置信息，弥补注意力机制无位置感知的缺陷。主要分绝对与相对两类：绝对编码如可学习和Sinusoidal，简单高效但外推性弱；相对编码如RoPE和ALiBi，通过旋转矩阵或线性偏置实现良好外推，支持长序列，广泛应用于LLaMA、BLOOM等大模型。
主流分词算法
分词器将文本转为模型可处理的数字序列，主流算法有BPE、WordPiece和SentencePiece。BPE高效但中文支持弱；WordPiece用于BERT，适合英文；SentencePiece语言无关，支持中文。实战中需根据语言选择算法，并合理设置词汇表大小与特殊标记，解决OOV等问题。
前馈神经网络
前馈网络（FFN）是Transformer的核心模块，提供非线性变换。标准FFN为两层线性加激活函数，扩展倍数通常为4；MoE则通过稀疏激活、动态路由提升模型容量与效率。常用激活函数包括ReLU、GELU（BERT采用）和SwiGLU（LLaMA采用）。相比标准FFN，MoE参数更多、表达更强，计算更高效。
Transformer基础结构
Transformer是Vaswani等人于2017年提出的基于注意力机制的神经网络，彻底革新了自然语言处理。其核心为编码器-解码器架构，通过自注意力并行捕捉长距离依赖，结合位置编码、残差连接与层归一化，显著提升训练效率与模型性能，广泛应用于各类NLP任务。（238字）
