超低温度让你的模型编程能力变蠢（给新手的警告）

很多人可能已经知道这一点，所以这篇大概可以跳过（除非你想看数据证明）。但如果你是本地部署的新手，或者听说过但不知道为什么，我有一些数据可以向你展示，像 t=0 或 t=0.2 这样的低温度设置会让你的模型表现显著变差（尤其是在编程方面）。你会看到很多关于投机解码的基准测试声称有疯狂的速度，通常用 dflash2 跑贪心解码。温度=0 或贪心解码会让模型每次都选择最可能的 token（需要注意的是，服务器上的并行预测仍可能让结果有微小的随机性）。他们这样做是因为投机解码在温度 0 下极其容易，所以他们能为帖子、产品等声称的数字看起来非常惊艳。问题在于，模型的大部分“创造性”思维来自于 token 选择所允许的随机性。贪心解码迫使模型总是走一条狭窄的路径，这直接降低了它在非回忆类任务上的“智能”，并显著增加了（通常是灾难性的）循环风险。测试参数 模型：Qwen3.8，压缩至 IQ4_XS-M。该格式将每个数字存储为约 4 位而非 16 位，约 4.6bpw。引擎：llamAmpere v0.5.2，使用其发布的 24GB 显卡设置运行。推理强度设为“medium”，控制模型回答前思考的时长。固定采样器设置：top_p 0.95（只有合计占 95% 概率的词才是候选），top_k 20（最多 20 个候选），min_p 0（无额外截断）。只改变温度。温度：0、0.25、0.5、0.75 和 1.0。在 1.0 时模型概率不做修改直接使用。编程测试：LiveCodeBench v6，该版本最新竞赛中标注为困难的 100 道题。程序只有通过所有隐藏测试（即模型从未见过的测试）才算通过。结果：编程分数随温度升高显著上升。汇总准确率为 70.0%