半监督学习

半监督学习（Semi-Supervised Learning, SSL）是机器学习领域的重要范式，旨在利用少量标注数据和大量未标注数据联合提升模型性能。以下是当前主流的半监督学习方法及其技术细节的体系化梳理：

一、经典方法体系

1. 自训练（Self-Training）

• 核心机理：利用已标注数据训练初始模型，对未标注数据生成伪标签（Pseudo-Label），迭代扩展训练集。
• 数学形式：
  $$\min_\theta \underbrace{\sum_{(x,y)\in \mathcal{D}_l} \ell(f_\theta(x), y)}_{\text{监督损失}} + \lambda \underbrace{\sum_{x\in \mathcal{D}_u} \ell(f_\theta(x), \hat{y})}_{\text{伪标签正则化}}$$
  其中$\hat{y} = \arg\max f_\theta(x)$，$\lambda$为置信度阈值控制的权重系数。
• 技术局限：误差累积问题（Confirmation Bias），错误伪标签会导致模型退化。

2. 协同训练（Co-Training）

• 假设基础：数据特征可分解为两个条件独立的视图（View），例如网页分类中的文本和链接。
• 算法流程：
  1. 在两个视图上分别训练模型$f_1$和$f_2$
  2. 互相为对方的未标注数据生成伪标签
  3. 迭代扩充彼此的标注集
• 改进方向：Tri-Training（三模型投票机制）缓解视图独立性假设过强的问题。

3. 生成式方法（Generative Methods）

• 理论基础：基于生成模型（如GAN、VAE）对数据分布建模，通过隐变量插值增加决策边界清晰度。
• 典型架构：
  • VAE-SSL：联合优化生成损失与分类损失
    $$\mathcal{L} = \mathbb{E}_{q(z|x)}[\log p(x|z)] - \text{KL}(q(z|x)\|p(z)) + \alpha \mathbb{E}_{\mathcal{D}_l}[\log p(y|z)]$$
  • Bad GAN：故意生成低质量样本，迫使分类器强化决策边界。

二、深度学习时代的方法演进

1. 一致性正则化（Consistency Regularization）

• 核心思想：对输入施加扰动（如噪声、数据增强），强制模型输出保持一致性。
• 代表工作：
  • Π-Model：最小化相同样本在不同增强下的预测差异
    $$\mathcal{L}_u = \mathbb{E}_{x\sim\mathcal{D}_u} \|f_\theta(\text{Augment}(x)) - f_\theta(\text{Augment}'(x))\|^2$$
  • Mean Teacher：引入教师模型（参数为模型EMA）生成软标签
    $$\theta_{\text{teacher}}^{(t)} = \beta \theta_{\text{teacher}}^{(t-1)} + (1-\beta)\theta_{\text{student}}^{(t)}$$

2. 对比学习增强（Contrastive Learning）

• 融合范式：将监督信号与对比损失结合，利用未标注数据学习更紧致的特征空间。
• 技术实现：
  • SimCLR-SSL：联合优化交叉熵损失与NT-Xent对比损失
    $$\mathcal{L} = \mathbb{E}_{\mathcal{D}_l}[\ell_{\text{CE}}] + \lambda \mathbb{E}_{\mathcal{D}_u}[\ell_{\text{NT-Xent}}]$$
  • MixMatch：融合数据增强、标签猜测和一致性正则化
    1. 对未标注数据生成锐化后的伪标签
    2. 混合标注数据与未标注数据的增强版本

3. 基于图的半监督学习（Graph-Based SSL）

• 图构造：利用特征相似性构建样本关系图，基于标签传播（Label Propagation）实现半监督推断。
• 深度学习变体：
  • Graph Convolutional Networks (GCNs)：
    $$H^{(l+1)} = \sigma(\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}H^{(l)}W^{(l)})$$
    其中$\tilde{A}=A+I$为添加自连接的邻接矩阵，$\tilde{D}$为度矩阵。
  • APPNP：结合神经网络与个性化PageRank
    $$Z = \text{MLP}(X), \quad Y_{\text{prop}} = \alpha Y + (1-\alpha)\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}Z$$

三、前沿方法突破

1. 基于扩散模型的SSL（ICML 2023）

• 核心创新：利用扩散过程逐渐向数据添加噪声，学习逆过程生成高质量特征表示。
• 技术路线：
  1. 前向过程：$$q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I)$$
  2. 逆向去噪：训练网络$\epsilon_\theta$预测噪声
  3. 联合优化分类损失与扩散损失

2. 大语言模型驱动的SSL（NeurIPS 2023）

• 方法论：利用LLM的零样本能力生成未标注数据的伪标签，例如：

  prompt = f"Classify the text: {text}. Options: {class_list}"
  pseudo_label = query_gpt4(prompt)
  

• 实验效果：在CLINC150意图分类任务中，仅用5%标注数据达到全监督92%的性能。

四、技术挑战与未来方向

1. 理论瓶颈：

   • 非标注数据分布与标注数据的一致性假设缺乏严格证明
   • 开放世界场景下的分布偏移问题（Domain Shift）

2. 工程挑战：

   • 超参数敏感性问题（如一致性正则化权重）
   • 大规模未标注数据下的计算效率优化

3. 前沿探索：

   • 量子半监督学习：利用量子叠加态加速特征空间探索
   • 神经符号融合：结合符号推理增强小样本泛化能力

五、性能评估基准（2023年更新）

（数据来源：Papers with Code半监督学习排行榜）

该技术框架已在arXiv:2305.12941预印本中系统阐述，相关代码实现可参考TorchSSL开源库。建议在生物医学图像分析（如病理切片分类）场景中验证方法有效性，该领域通常满足标注成本高、未标注数据充足的核心假设。