L3G-World用隐式3D高斯记忆实时生成无限世界
原文：L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
交互式世界模型根据用户动作生成视觉内容，但在实时长时程探索中保持空间一致性仍然具有挑战性。现有方法依赖于时间上下文或显式3D记忆，两者的扩展性都很差，因为记忆会随生成流的长度而增长。此外，显式3D记忆通过重新编码RGB渲染结果来为潜在视频生成器提供条件，这阻碍了实时生成。本文中，我们引入了潜在3D高斯记忆（L3G），它结合了前馈重建的效率与紧凑、可快速渲染的场景表示。基于这一记忆，我们提出了L3G-World，其中记忆更新器和视频扩散Transformer（DiT）交替自回归地生成空间一致的世界。记忆更新器在新观测区域生成高斯并细化现有高斯，使记忆随场景范围而非流长度增长。每个高斯还存储VAE潜在特征，使记忆可以直接渲染到DiT的潜在空间中，无需VAE重新编码。实验表明，L3G-World实现了最先进的生成质量和长时程空间一致性，与各指标下最高效的先前3D记忆基线相比，3D基元数量最多减少$38.6\times$，记忆更新速度提升$3.2\times$，记忆渲染速度提升$359\times$，从而以9 FPS实现实时世界生成。作者：Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim。类别：cs.CV