专家模型不要专家并行！微软开源MoE新路径
微软研究团队提出了一种名为“GRIN（GRadient-INformed MoE training）”的新型训练方法，针对专家混合（MoE）模型优化难题。MoE通过稀疏计算提高效率，但传统梯度优化难以直接应用。GRIN利用梯度信息指导专家路由，引入稀疏梯度估计和并行配置，克服了这一局限，显著提升了MoE模型的训练效率和性能。实验表明，GRIN在语言建模等任务上超越了密集模型，并在多个基准测试中取得领先。尽管存在计算复杂度高等挑战，GRIN为MoE模型训练提供了新思路。论文地址：https://arxiv.org/abs/2409.12136
