本作品展示的是混合专家模型（MoE，Mixture of Experts）的典型结构：将 Transformer 中的前馈网络 (FFN) 层替换为由门控网络和多个专家组成的 MoE 层。