UkisAI Swift GLM5.3 + GSQ-RCO，Swift Ornith 9B / 最大推理下token用量减少57.7%，准确率损失<1%
UkisAI发布Swift GLM5.3等模型，token用量降57.7%
原文：UkisAI Swift GLM5.3 + GSQ-RCO, Swift Ornith 9B / -57.7% Token Usage with <1% accuracy loss on max reasoning
大家好，我是UkisAI的Jovan，今天我们应社区要求扩展Swift模型系列，推出两个模型。我们通过找出与病态过度思考相关的token并在不直接“攻击”推理长度的情况下对其进行惩罚，使Swift GLM-5.3-Flash和Swift Ornith 9B更加高效，然后通过进一步后训练恢复准确率，通过RL和在线策略蒸馏让模型适应更少的推理，从而实现“压缩”的token用量同时保持准确率。你可以在这里找到我们的数据集（尽管我们按模型重新采样），更多关于训练方法的信息在这里。Swift1.5 GLM-5.3-Flash，头条数字是在MMLU-PRO上思考token减少61.4%，在我们测量的所有基准上平均准确率损失-0.46%，全部在不同种子上运行5次（Terminal-Bench 2.1、DeepSWE v1.1、GPQA-Diamond、MMLU-Pro、C-Eval、IFBench、AIME 2026、HMMT、LiveCodeBench v6）。对于这个模型，我们发布了大量量化版本，GGUF（1bit-8bit）、W4A16AWQ、NVFP4，并且还在独立复现GSQ-RCO论文，我们目前的研究表明我们的Q3 GSQ-RCO在其规模上是SOTA，这意味着我们将在评估套件完成后于未来几天发布。GGUF含1bit-8bit量化，https://huggingface.co/ukisai/Swift-1.5-GLM-5.3-Flash-GGUF 以及社区最爱（至少是显存较少的朋友们）Swift1.5 Ornith-9B，思考token用量减少33.5%且无准确率损失，但更重要的是过度思考循环减少约2倍，这意味着当你提示模型时，它循环而无法完成你给定提示的可能性大大降低。注意这是实验性发布，我们欢迎反馈，因为该模型在我们的token优化之前已经过后训练。GGUF含4bit-8bit量化，https://huggingface.co/ukisai/Swift-1.5-Ornith-9B-GGUF 两个模型都支持其基础MTP或DFLASH2头。我们恳请社区让
🖼 相关图片
