🚀 OpenEBFM：基于能量的模型能否扩展为基础模型？代码与权重已发布

我们一直在研究 OpenEBFM（基于能量的基础模型），想在这里分享这个项目并获取社区的反馈。如今大多数语言基础模型都基于直接建模 token 概率。我们的问题是：基于能量的学习能否扩展到通用基础模型？EBFM 的核心思想是将生成分为两步：能量引导：给定当前上下文，模型使用学习到的能量函数的梯度将潜在状态优化到更低能量区域。Token 生成：然后生成头利用这个能量引导后的潜在状态结合上下文来预测下一个 token。能量头和生成头共享同一个 Transformer 骨干。在预训练期间，我们还通过重新设计的注意力掩码和位置索引在所有 token 位置上并行化能量引导，使模型能够在序列级别进行训练，而不是对每个位置单独引导。我们的发现我们在 FineWeb、DCLM 和 ClimbMix 上预训练了 EBFM，并研究了随训练 token 数和模型参数的扩展规律。一些我们觉得有趣的结果：数据扩展：在我们的实验中，EBFM 在验证集上的 BPB 低于匹配的 GPT 基线，且差距通常随训练 token 预算增加而扩大。参数扩展：从约 268M 到 1B 参数，EBFM 的提升速度快于对应的 GPT 基线。计算扩展：EBFM 呈现出预期的 U 形 IsoFLOP 曲线，随着计算预算增长，计算最优模型规模向上移动。泛化能力：我们在覆盖推理、知识、语言理解和常识推理的 19 个零样本 QA 任务以及 7 个跨域生成数据集上进行了评估。同样的趋势在监督微调期间也持续存在。例如，在 DCLM 上，最大的 EBFM 达到平均零样本 QA 准确率 44.71%，而我们的设置中对应的 GPT 基线为 39.79%。我们不……