CrossWeave实现稀疏2D-3D对齐的跨模态场景检索
原文：CrossWeave: Cross-Modal Scene and Instance Retrieval from Sparse 2D-3D Alignment
跨模态场景与实例检索旨在给定查询2D图像的情况下检索对应的3D环境或物体，是机器人和AR/VR中空间推理的基础机制。现有方法仅在整个场景或物体层面学习对齐来实现这一目标，无法为其中的细粒度局部结构提供监督信号。在本工作中，我们证明仅对一组稀疏的2D-3D对应关系进行监督，无需场景级或实例级的对比目标，就足以训练一个单一模型同时完成场景级和实例级检索。具体而言，我们提出了CrossWeave，一种新颖的跨模态检索框架，学习稀疏的patch-point对齐，仅此一项便超越了现有方法。在对齐特征上使用基于最优传输的聚合器，通过对结构冗余区域进行聚类，进一步释放描述子容量以编码语义上不同的局部特征，从而带来额外增益。CrossWeave以单一模型在ScanNet和3RScan上的场景级和实例级检索均达到最先进性能，而现有方法需要为每个任务分别训练模型。我们的结果表明，跨模态检索不需要全场景编码，稀疏局部对应监督是一种更有效且更灵活的替代方案。