Jurgen、曼宁等大佬新作：MoE重塑6年前的Universal Transformer，高效升级
本文介绍了一种新型Transformer架构，旨在解决Universal Transformer (UT) 在参数-计算效率上的问题。MoEUT结合了Mixture-of-Experts (MoE) 方法和UT的优点，通过MoE Feedforward Blocks、MoE Self-Attention Layers、Layer Grouping及Peri-LayerNorm等技术创新，实现了更高效的计算和内存使用。实验结果显示，MoEUT在多个语言建模和代码生成任务上显著优于标准Transformer，且计算资源需求更低。
