提出单一算法训练基础模型，替代多阶段流程
原文：Training Foundation Models with a Single Algorithm
基础模型通常分阶段训练：预训练、中期训练、监督微调（SFT）和强化学习（RL），且数据和学习算法均会变化。我们表明这种算法上的分离并非本质性的。通过将合适的RL目标推导为对模型生成目标分布的最大似然拟合，我们将所有这些阶段置于一个基于似然的单一训练算法——统一训练之下。这一视角将基础模型训练生命周期转化为一个选择在什么数据上训练、以什么比例、在何时训练的问题，而传统的分阶段训练成为其特例。我们在一个统一训练系统中实例化了该框架，在单一训练器内混合静态数据和RL生成。在受控和真实世界实验中，统一训练改善了精度-计算权衡和任务覆盖范围，同时保留了更广泛的能力，并为持续学习提供了更强的起点。这项工作为基础模型训练的统一科学奠定了基础，连接了数学原理、训练基础设施和模型能力发展。作者：Yuda Song, Alvin Zhang, Fahim Tajwar, Daman Arora, Jeff Schneider 分类：cs.LG