追踪隐藏状态轨迹提升多轮推理自适应能力
原文：Geometry of Divergence: Tracking Hidden-State Trajectories for Adaptive Multi-Turn Reasoning
LLM智能体需要在严格的资源约束下，在长时间的多轮交互中保持目标一致的推理。然而，随着多轮上下文的累积，底层LLM对早期轮次中任务相关信息内部表征的稳定性可能被破坏，模糊了建设性推理与表征漂移之间的界限。我们将多轮推理形式化为底层LLM的隐状态轨迹，并通过两个互补信号来刻画：时间曲率（捕捉轮次间更新的方向一致性）和方差斜率（衡量探索空间的扩张或收缩）。在四项任务和三个底层LLM上，我们观察到这些几何信号能够在回合完成之前区分正确与错误的片段。我们进一步将每个片段分解为由四种动作（Read、Write、Respond、Transfer）构成的三动作链，并证明可分性依赖于具体动作，不同的信号可以区分不同的链模式。我们的实验表明，轨迹几何能够识别推理过程中的关键轮次，将$τ$-Bench上的任务成功率从24.1%提升至39.6%，同时降低11.2%的token成本。