探测视觉基础模型中的空间状态表征能力
原文：Probing Spatial State Representations in Visual Foundation Models
观察者只能看到周围世界的一部分，却必须追踪当前视野之外的事物。因此，空间感知不仅仅是识别单张图像：它需要一种持续的空间状态，该状态在自我运动下不断更新，并用于指导行动。视觉基础模型是否提供了支持这种状态的表征？我们通过四个层次的空间能力——空间结构、物体持久性、预测性空间更新和可操作性——来研究这一问题，在静态室内环境的流式自我中心观测下，对十种表征进行冻结特征探测。由此得到的能力画像因任务、网络层和前缀长度而异：对可见场景的强读出并不能确保准确的物体持久性或未来特征检索。匹配对照将读出准确性与对视觉历史和运动的依赖区分开来。原生未来预测保留了可恢复的空间结构，但在真实特征上训练的空间读取器无法原样迁移到预测特征上。最后，依赖目标的候选选择并不能建立可靠的连续行动效用：预测动作会响应目标变化，但提供正确目标并不能可靠地改善进展。在四个层次中，物体持久性和可操作性建立在相机位姿读出之上，而特征预测建立在可见场景读出之上。总之，这些发现促使我们不仅通过能从空间表征中解码出什么来评估它们，还要评估这些信息是否在观测之外得以维持、是否被预测性地更新、以及是否被用于目标导向的行动。作者：Baiqiao Yin、Zhongang Cai、Ruisi Wang、Qiwei Liang、Lei Yang。类别：cs.CV、cs.AI