英伟达发布 Cosmos 3 开放模型,用于交互式世界模拟
英伟达发布Cosmos 3开放模型,用于交互式世界模拟。
AI 深度解读
NVIDIA 于2026年11月5日在 Hugging Face 发布 Cosmos 3 的四个开放权重示例模型,用于交互式世界模拟、自动驾驶多传感器生成和机器人动作条件视频预测,关注价值在于它把世界模型从静态生成推进到动作—观察循环。
- 四个模型分别面向驾驶场景迁移、相机与 LiDAR 流式模拟、仿真器控制到 RGB 视频,以及双臂机器人动作到视频预测。
- NVIDIA称这些模型均基于 Cosmos 3 Nano 后训练,具有160亿可训练参数,并采用 OpenMDW1.1 许可。
- NVIDIA 官方 GitHub 文档显示,部分模型需要 WSM 控制、相机配置和传感器对齐,换用不同设备可能需要再训练或蒸馏。
- Hugging Face 模型卡显示,Sim-Bimanual 可用于机器人策略评估、强化学习训练和合成示范数据生成。
- 这些能力仍依赖仿真运行时、控制输入和具体硬件,不能直接等同于现实环境中的可靠控制能力。
- 影响/看点:开放权重和推理示例可能降低研究者构建交互式仿真环境的门槛;实际价值取决于生成视频与物理状态的一致性、传感器迁移效果,以及在真实机器人和自动驾驶系统中的独立验证。
- 资料依据:
- Hugging Face/NVIDIA(2026-11-05):https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation
- NVIDIA Cosmos3-Nano-Sim-Bimanual Model Card(2026-10-20):https://huggingface.co/nvidia/Cosmos3-Nano-Sim-Bimanual
- NVIDIA Cosmos Framework(2026-11-05):https://github.com/NVIDIA/cosmos-framework/blob/main/.agents/skills/cosmos3-nano-transfer-auto/inference/SKILL.md
本内容由 AI 生成,仅供参考,请注意甄别