在宣称推理变更“质量中性”之前，你会要求哪些证据？[D]
讨论推理变更何时可称质量中性，引GSM8K对比数据
原文：What would you require before calling an inference change “quality-neutral”? [D]
两个 GSM8K 分数：96.89% → 96.82%，覆盖全部 1,319 道测试题。这些数据来自 NVIDIA 的 Ling-3.0-flash 在单台 DGX Spark 上的对比。优化配置同时更改了 MoE 后端、增加了 FP8 输出头，并启用了 NEXTN 投机解码。两次运行均使用 FP4 检查点。聚合分数只概括了总体情况。对 1,319 个答案进行配对查看，才能看出两种配置在哪些题目上一致、在哪些题目上互有胜负。若要声称没有实质性的质量回退，你认为什么证据才算充分：逐题配对结果、重复随机种子、事先声明的等效边界，还是另一套任务集？尤其是当精度变更和解码优化同时上线时，在给定的评估预算下，哪些检查能提供最多信息？由 /u/AKAMA199 提交
🖼 相关图片
查看原文 ↗
技术论文