Olmo-core 3 发布：面向大规模 MoE 的开放可扩展训练基础设施

今天我们发布 Olmo-core 3，这是对我们大语言模型开发框架的一次重大升级，重新设计了开放的混合专家（MoE）训练系统。Olmo-core 3 旨在将 MoE 训练扩展到万亿参数级别，同时保持计算效率。它是下一代 Olmo 背后的核心系统之一，也是我们持续承诺开放每个新模型背后工具和训练基础设施的一部分。训练大型 AI 模型需要大量算力，推高了成本和能耗，使许多学术研究人员和较小实验室无法进行先进模型开发。MoE 模型提供了一种更高效的方法——它们可以包含更多学习组件或参数，而无需每个输入都使用全部参数。但完整模型仍需存储在 GPU 内存中并在训练期间更新，而在集群中将输入路由到正确的专家——MoE 内的专门组件——会产生自身的通信和协调成本。随着 MoE 规模增长，这些成本可能侵蚀仅对每个输入使用部分模型所带来的大部分计算优势。Olmo-core 3 正是为弥合这一差距而构建。在一项基准测试中，我们将专家池从 8 个增加到 128 个，同时每个 token——语言模型处理的小文本单元——仍只选择四个专家，使每个 token 的活跃参数数量大致固定在约 3.2B。总参数容量从 4.6B 增长到 47B，而训练吞吐量下降不到 5%。同一基础设施已在超过一万亿总参数规模上进行了基准测试。围绕 MoE 实际工作方式构建训练栈 Olmo-core 随着每一代 Olmo 不断演进。我们在稀疏模型方面的工作可追溯到 OlmoE，它使用了具有 64 个路由专家的 MoE 架构。相比之下，Olmo 3 使用了稠密架构，意味着几乎所有……