英伟达发布Cosmos3-H-Dreams医疗手术生成仿真模型
原文：NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation
NVIDIA Cosmos3-H-Dreams：通过生成式仿真让临床手术活起来。我们首个Cosmos-H-Dreams版本基于Cosmos-Predict2.5构建，将交互式生成仿真带到了dVRK桌面缝合任务——这是手术机器人的基础验证平台。作为世界基础模型（WFM），Cosmos-H-Dreams展示了一种替代数值仿真的方案：它不显式建模场景几何、组织变形和物理交互，而是直接从同步视频和机器人运动学中学习视觉动态，从而生成高真实感的交互式桌面任务仿真。如今，Cosmos3-H-Dreams通过在CMR Surgical Versius平台上临床手术过程中的视频和机器人运动学记录进行学习，进一步提升了这一能力。据我们所知，这是首个基于临床胆囊切除术记录训练、支持实时运动学控制的实时生成式手术模拟器。Cosmos3-H-Dreams由Cosmos 3驱动，并通过NVIDIA的加速流式推理库FlashDreams加速，可在单块NVIDIA RTX PRO 6000 GPU上交互式运行。1. 从桌面任务到临床场景。在像Cosmos-H-Dreams那样的受控桌面环境中，器械在相对简单的背景下操作。然而在人体内部，器械的微小运动可能影响整个场景：组织在牵拉下伸展、反光变化、结构被遮挡、烟雾改变可见度。给定初始图像和提供的工具动作，生成式模拟器必须在生成每一段新视频时捕捉这些响应，同时保持解剖结构和器械的一致性。小误差可能随时间累积，逐渐改变器械几何形状或解剖结构，因此时间一致性至关重要。因此，视觉真实感只是验证的起点，而非生物力学准确性的证明。生成的场景还必须遵循控制指令：平移、旋转和夹爪……