分析基于预填充的解码长度预测的理论极限
原文：On the Fundamental Limits of Prefill-Based Decoding Length Prediction
仅使用prefill阶段隐藏状态来预测大语言模型（LLM）将解码多少token，是推理调度的关键原语。我们表明，当前基准将预测器质量与任务难度混为一谈：当目标模型、数据集或采样配置变化时，即使预测器未变，报告的准确率也会崩溃。我们将这种不稳定性追溯到一个被忽视的误差来源——自回归解码的固有随机性——并推导出每个prefill侧方法都必须遵守的界限。我们的分析将解码视为一个停止的随机过程。响应的每步停止概率不是恒定的，而是在数百步中逐渐上升，因此解码长度从决定响应结束位置的许多局部决策中继承了中心极限定理；这产生了具有显式误差项的每提示正态性，以及仿射方差律σ=αμ+b，其斜率是响应段数的变异系数。在经验上，正态律将每提示MAE和解码长度分布的中心质量再现到几个百分点以内，而偏离正态性的残差（轻度右偏、轻微超额峰度）正是采样噪声校正所预测的。在固定模型、数据和采样条件下，广泛的设计空间预测器（MLP、EGTP、FiLM、软标签和Mixture-of-Experts变体）收敛到接近界限的相似性能，确认了系统误差主导模型误差。我们主张一种基准测试协议，固定模型、数据和采样参数，并在绝对指标之外报告相对误差指标。代码和分析工具可在https://github.com/ShwStone/DecodingPredict获取。作者：Haowen Shi, Xuzhe Yan, Fahao Chen, Peng Li。类别：cs.AI, cs.CL, cs.IT