用 LFM2.5-24B-A2B 在设备端运行快速、私密的智能体

LFM2.5-24B-A2B 是一个 24B 参数的推理模型，但仅有 2B 活跃参数，专为设备端快速、私密的智能体而构建。它会先思考再回答，能调用工具，并可在流行的智能体框架内完成多步骤任务。由于每个 token 仅激活 2B 参数，每个推理 token 的成本都很低，因此你可以在自己的硬件上持续运行智能体。同类最佳智能体：在智能体和工具使用任务上，可与 Qwen3.6-35B-A3B 竞争，后者总参数和活跃参数均多出约 50%；在 LiveClaw 上得分为 48.09，而后者为 38.19。以 MoE 速度推理：始终先思考再回答。由于每个 token 仅激活 2B 参数，每个推理 token 的成本都很低。高效推理：在 Apple M5 Max 上达到 184 tok/s，在单块 NVIDIA B300 GPU 上输出可达 21K tok/s。我们如何构建一个仅有 2B 活跃参数的推理智能体 LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，并保留其架构：40 层、每个 MoE 块 64 个专家且采用 top-4 路由，以及门控短卷积与 GQA 的相同混合结构。上下文窗口从 32K 增长到 131K token，原地分词器扩展将词表从 65K 翻倍到 128K token，以改善非拉丁文本的分词。与其前身不同，它是一个仅推理模型，会在最终答案前生成显式思维链。预训练规模从约 17T token 扩大到约 33T token。中期训练随后加入 2T token、32K 上下文，权重偏向推理、数学、代码、指令遵循和多语言文本，以及 300B token、131K 上下文，权重偏向长上下文数据。工具调用和多轮轨迹贯穿这两个阶段。后训练分五个阶段将基础模型转变为智能体：监督微调（SFT）教师专业化多领域同策略蒸馏（MOPD），非智能体：在非智能体任务上蒸馏专家教师。MOPD，智能体：第二个蒸馏阶段，聚焦智能体任务。智能体强化学习（Agentic RL）：在 a 中训练模型