揭示FP8矩阵乘法导致Evo 2检查点兼容性问题
原文：Accuracy is not compatibility: two Evo 2 checkpoints hinge on one FP8 matrix multiplication
FP8格式规定了值如何存储，而非乘积如何求和；这一差距可能破坏检查点。DNA语言模型Evo 2为其1B和40B检查点记录了Hopper FP8要求。在两块Blackwell（sm_120）GPU上，两者均未通过开发者的前向测试（7B通过）；在RTX 5070 Ti上，40B的下一碱基准确率为25.7%，接近随机猜测。更高的精度反而破坏了它们，正如BioNeMo在Hopper上对40B所观察到的：原生情况下，一个投影的99.996%输出被正确舍入（H100：约30%），而相同操作数的fp32累加则失败。我们的H100 FP8 GEMM模拟器mmaemu（在捕获的1B投影上比特精确）将依赖性定位到1B的第一个投影（共21个），其中精确求和在按H100的1.4%（样本内测量）而非2.1%缩小时失败但通过。40B仅其第一个投影为原生时即失败。仅模拟该投影、权重不变，在RTX 5070 Ti上将40B BRCA1变异分类AUROC从0.434提升至0.869（H100：0.868），尽管前向测试略有未通过，在RTX PRO 6000上从0.481提升至0.867。我们测试了一个模型家族但未测试训练来源；发布版本应明确参考算术。作者：Xun Ding, Ziyuan Qin 类别：cs.LG