提出面向机器人可供性与轨迹预测的高效VLM方法
原文：Decoding Geometry, Not Tokens: Efficient VLMs for Robot Affordance and Trajectory Prediction
预测在哪里抓取以及如何移动本质上是一个几何问题。视觉语言模型却将其视为语言生成。它们将空间坐标token化为文本并自回归地解码。这一机制忽略了空间结构并截断了连续精度。解码过程中误差在坐标token之间累积。在本文中，我们表明，参数量为0.5-2B的紧凑型现成VLM已在其中间隐藏状态中编码了丰富的空间信息。自回归解码是轨迹预测的主要瓶颈，而可供性预测还额外依赖于特征深度和解码器架构。我们通过一个轻量级、几何兼容的预测头来暴露潜在空间信息，该预测头附加在冻结的骨干网络上。它从中间隐藏层读取特征，将学习到的查询以任务指令为条件，并通过视觉token上的交叉注意力进行精炼，直接以连续值回归可供性框和轨迹路点，而无需修改骨干网络。我们在ShareRobot-Bench和AGD20K上进行了评估。我们的2B变体将轨迹误差降低了60%以上，并将ShareRobot-Bench可供性mAP相对自回归基线提升了85%。它在轨迹预测上接近RoboBrain（0.251 vs 0.191 DFD），吞吐量高出3.8倍。这些结果展示了指令条件2D几何预测在精度-效率权衡上的优势。作者：Akila Ayanthi, Darshana Priyasad, Tharindu Fernando, Dimity Miller, Sridha Sridharan 类别：cs.RO,cs.CV