苹果发布 REVERSAL-BENCH：衡量无重置强化学习状态可恢复性的新基准

苹果机器学习研究团队于 2026 年 9 月 17 日发布基准 REVERSAL-BENCH，用于评估无重置强化学习算法在不可逆物理环境中的状态恢复能力。

• 研究团队指出，现有无重置强化学习研究大多建立在环境天然可逆的假设上，但在现实机械操作中，物体坠落或粉末洒落等不可逆状态转移往往导致策略陷入死局。
• 该基准通过连续参数 ρ（取值范围 0 到 1）量化控制环境的可逆程度，并在 5 种物理引擎中构建了涵盖 8 类操作任务的测试场景。
• 基准内置重置预言机（Reset Oracle）作为状态恢复的基准真值检验机制，实验揭示了多数现有算法在面对不可逆环境时出现的性能骤降现象。
• 影响/看点：该基准为机器人具身智能策略在复杂物理世界中的安全性与自我纠错能力提供了量化测试工具，可能推动后续研究关注不可逆动作的风险规避。
• 资料依据：
• Apple Machine Learning Research（2026-09-17）：https://machinelearning.apple.com/research/reversal-bench-rl-cliff

本内容由 AI 生成，仅供参考，请注意甄别