VisualPatchWorld：将代码世界模型作为规划的潜在结构化表示

这篇论文提出了一种新的世界模型表示方法——VisualPatchWorld，它用代码来编码世界动态，既保留了神经预测器的数据驱动优势，又具备了物理引擎的可检查性和可编辑性。值得一看，因为它展示了如何自动构建可解释、可规划的世界模型，在机器人规划任务上取得了显著提升。

• 核心思想：用代码表示世界模型。VisualPatchWorld 首先通过短主动探测选择定性动力学形式，然后从记录的状态-动作轨迹中拟合自由参数，最小化多步预测误差。最终生成的程序可以像模拟器一样滚动推演，也可以以源代码形式检查。
• 规划能力：在模型预测控制中使用时，图像派生的场景图可在重新规划时提供实时状态。与先前的基于代码的世界模型相比，VPW 平均规划成功率达到了 69.0%，超出最强代码基线 23.5 个百分点。尤其在需要正确选择定性动力学的场景中提升最大。
• 与真实引擎对比：在导航和抓取丰富的控制任务中，VPW 诱导的模型接近真实物理引擎的成功率。但在接触丰富的推挤任务中仍有残差差距，而通过检查候选规划列表并使用引擎验证，可以弥补大部分差距。
• 实用价值：这项工作建立了一条自动构建可用于规划的代码世界模型的实用路径，结合了数据驱动和符号表示的优点。代码已开源。
• 影响/看点：VisualPatchWorld 为机器人规划和仿真提供了一种可解释、可编辑的世界模型新范式，有望在需要透明性和可控性的实际系统中得到应用。

本内容由 AI 生成，仅供参考，请注意甄别