英伟达 Cosmos-H-Dreams:为手术机器人带来实时生成式仿真

英伟达发布Cosmos-H-Dreams,把此前只能离线跑的手术机器人世界模型,升级成了一个能实时交互、单卡就能带动的生成式仿真器,是具身智能在医疗场景的一次具体落地。

• 前身Cosmos-H-Surgical-Simulator基于Cosmos-Predict2.5-2B,在Open-H-Embodiment数据集上训练,给定初始画面和机器人轨迹就能生成未来手术视频,主要用于离线策略评估和合成数据生成。
• Cosmos-H-Dreams把这个模型蒸馏成一个“因果、少步”的学生模型,通过英伟达自研的FlashDreams流式推理库对外提供服务,实现自回归、逐块生成画面。
• 单张RTX PRO 6000 GPU即可运行,人或训练好的策略可以对这个环境做闭环实时控制,不再依赖离线批处理。
• 团队针对达芬奇手术机器人研究平台(dVRK)的桌面缝合任务做了专门适配,并与CMR Surgical、Cambridge Consultants合作,把它接入了Versius手术机器人的真实控制器实现联调。
• 这意味着手术机器人的策略训练和验证,未来可以更多依赖“世界模型仿真”而非昂贵且有风险的真实手术数据,是仿真从预生成走向实时交互的关键一步。

本内容由 AI 生成，仅供参考，请注意甄别