ARC Prize解释为何省略Claude Haiku 5.5的最大推理结果

ARC Prize 于2026年10月14日解释，ARC-AGI-2 榜单没有列出 Claude Haiku 5.5 的 max reasoning 结果，因为该配置只完成120个任务中的74个，且多次尝试在输出预算耗尽前未返回可解析答案；关注价值在于它揭示了推理预算不仅影响分数，也影响评测是否能形成有效提交。

• 被省略的不是一个简单的低分，而是包含大量未完成或不可解析结果的运行配置。
• 完成74/120个任务意味着该设定存在明显的任务完成率问题，不能只比较已返回答案的正确率。
• 输出预算、解析规则和 harness 会改变模型在 ARC-AGI-2 上的可比性。
• 这一说明也提示，所谓“最大推理”不必然等同于更好的端到端评测结果。
• 影响/看点：如果评测继续同时报告完成率、可解析率、正确率和成本，模型比较会更接近实际部署约束；在预算或输出长度受限的应用中，稳定完成任务可能比单次推理深度更重要。
• 资料依据:
• ARC Prize（2026-10-14）：https://arcprize.org/results/anthropic-claude-haiku-5-5
• ARC Prize（2026-10-14）：https://x.com/arcprize/status/2110417868563042314

本内容由 AI 生成，仅供参考，请注意甄别