研究提示对事后自蒸馏金融推理的影响
原文：How Much Does the Hint Matter? A generic feedback line matches self-written critiques in hindsight self-distillation (ACM ICAIF '26) [R]
我们研究了GPT-OSS-20B上多步金融推理的事后自蒸馏。学生模型找到自己第一个错误步骤并写出批评。一个冻结的副本以prefix加批评为条件，通过反向KL蒸馏回学生模型。值得注意的是，将批评替换为一条固定的通用反馈语，就能达到约3个百分点的全部增益，而来自6倍大模型的批评并没有实质性提升性能，这表明事后蒸馏提供的位置信息显著降低了有效训练所需特权信息。Fin-SD在token数少9.5%的情况下，匹配了使用完整参考解的OPSD。论文：https://arxiv.org/abs/2610.36082 | 代码：https://github.com/johnnyhyu/fin-sd 我们很想找到这种方法的极限。告诉我们你的想法！由/u/jhzyu提交 [链接] [评论]