SymAnt用可适应符号先验预测长时程动作
原文：SymAnt: Grounding Long-Horizon Action Anticipation with Adaptable Symbolic Priors
随着机器人和智能系统越来越多地与人类互动，它们必须仅凭短暂的观测来预测未来的长序列动作。纯神经网络模型通常需要大量观测来预测未来动作，且难以解释和调整，而符号先验提供了一种结构化的替代方案。为此，我们提出了SymAnt，一种新颖的神经符号方法，将神经网络的表达能力与场景图和知识图谱的结构化推理相统一。给定一段短视频，SymAnt在两个图谱上进行联合搜索以构建符号上下文，从而实现对空间关系、物体属性、可供性和关联动作的统一推理。该符号上下文作为先验，用于一个迭代精炼过程，逐步生成并改进未来动作序列。通过将预测建立在符号上下文之上，SymAnt以参数高效的方式从短观测窗口预测长时程动作，同时允许用户直接编辑底层知识以调整预测，无需进一步训练。通过实验，我们展示了SymAnt的有效性，特别是在仅有短观测上下文可用时，在五个多样化数据集上进行了验证：Breakfast、50 Salads、EPIC-KITCHENS、EGTEA Gaze+和Assembly101。作者：Fnu Aryan、Yaqi Xie、Joseph Campbell、Woojun Kim、Kwonjoon Lee。类别：cs.RO、cs.CV