提出区域锚点路由实现多物体运动迁移
原文：Regional Anchor Routing for Multi-Object Motion Transfer
组合式运动迁移要求模型从多个参考视频中提取运动，并将每个运动应用于目标场景中用户指定的对象。现有方法通常难以可靠地将不同参考运动分配给正确的目标对象，因此本应作用于某一对象的运动可能影响另一个对象。同时，一些针对特定运动的调优方法还面临另一个问题：每当参考视频变化时就必须运行新的优化，使得重复迁移效率低下。为解决这些局限，我们提出RART，一个将逐对象运动提取、目标区域锚定和帧对齐注入统一到冻结视频扩散Transformer中的框架，用于多对象运动迁移。对于每个参考运动，RART从掩码参考视频中提取时间有序特征，然后以目标首帧掩码为条件形成掩码锚定运动token。帧对齐运动交叉注意力允许每个生成帧仅读取对应时间槽的运动token，在单次去噪过程中组合所有对象运动。训练期间，运动注意力路由损失鼓励每个目标区域关注其对应的运动token并减少对象间的干扰。因此，RART无需逐视频优化即可处理新颖的参考-目标组合。实验表明，RART实现了精确的运动保持、高效的推理和强大的组合泛化能力。作者：Yuze Li, Fuchen Long, Xinlong Sun, Cheng Yan, Xinyu Zhang 类别：cs.CV