PhiZero:围绕物理语言构建的世界模型

一项新研究提出 PhiZero,给世界模型设计了一种叫「物理语言」的中间表示——不再让 AI 直接在像素空间里猜测下一帧画面,而是先用离散语言描述物理世界如何演变,再把这段描述渲染成视频。

• 现有物理世界模型大多直接在像素空间预测未来视频,物理规律隐藏在高维视觉预测器里,难以被显式检验和复用
• PhiZero 借鉴人类从视觉经验中抽象出可推理语言描述的能力,通过自监督方式从海量野外视频中学习出一套紧凑的离散「物理语言」
• 采用「先推理、后渲染」范式:先把未来世界演化推理成一段物理语言序列,再将这段序列渲染为具体视频画面
• 在生成和理解类基准上均验证了 PhiZero 能建模出物理连贯的世界演化过程
• 具备交互式世界建模、细粒度动作条件仿真、以及零样本运动迁移的潜力
• 把物理常识从像素预测里剥离成可显式操作的语言层,可能是让世界模型真正可控、可解释、可用于机器人仿真和交互式生成的关键一步。

本内容由 AI 生成，仅供参考，请注意甄别