提出从单视频生成4D视听场景的扩散同步方法
原文：SonoWorld4D: From One Video to a 4D Audio-Visual Scene via Diffusion Synchronization
视觉场景生成的最新进展已超越静态3D场景，转向从最少输入生成动态4D场景这一更具挑战性的问题。然而，声音尽管与动态物体和事件内在耦合，在先前工作中仍基本未被建模。我们提出Video-to-4DAVScene这一新任务，将视频转化为可探索的、随时间变化的4D视听场景，并为此任务提出SonoWorld4D框架。给定单目视频，我们的方法生成360度静态背景，重建动态发声前景物体的显式运动轨迹，并通过双空间音频扩散同步合成跨多个声源的物理一致声场。所得4D场景支持实时新视角视觉和空间音频渲染。在真实动态场景上的评估和用户研究表明，SonoWorld4D生成的4D视听场景具有感知真实、物理合理的空间音频，且与场景几何和视觉内容一致。作者：Derong Jin, Xiyi Chen, Ming C. Lin, Ruohan Gao 类别：cs.CV,cs.SD