BLARM实现视频驱动的3D网格动画生成
原文：BLARM: Animating 3D Objects from Video via Blending Latent Rigid Motion Primitives
我们提出 BLARM，一种用于视频驱动 3D 网格动画的前馈方法。给定一段单目视频和一个静态物体网格，BLARM 预测出一个时间连贯的动画网格，其运动跟随视频。我们不依赖显式的绑定（rig）或直接回归高维顶点运动，而是使用一组紧凑的、随时间变化的已学习刚性运动分量，以及时间不变的顶点-分量蒙皮权重来表示动画。这产生了一个低维形变空间，无需骨架、包围笼、蒙皮权重或绑定标注。我们的架构通过分解式时空注意力，将源自几何的形变潜在量与视频特征进行条件化，然后解码由预测蒙皮权重融合的刚性变换。通过轨迹重建、熵正则化和运动感知对比学习进行训练，BLARM 能从单目视频中生成精确且时间稳定的动画，同时恢复出紧凑、可解释的运动结构。作者：Pradyumn Goyal, Yizhak Ben-Shabat, Hsueh-Ti Derek Liu, Haomiao Jiang, Snehasish Mukherjee 分类：cs.CV