TheoPhysEval 基准测试 AI 智能体解决理论物理难题的能力
Google DeepMind等发布TheoPhysEval,用50道未发表理论物理题测试AI智能体能力。
AI 深度解读
Google DeepMind与多所机构参与的 TheoPhysEval 基准测试了 AI 智能体解决50道未发表理论物理问题的能力,最优系统在给定工具条件下答对49道,关注价值在于它区分了具体计算能力与真正的科学发现能力。
- 论文于2026年10月9日提交 arXiv,题目为《TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving》。
- 题目覆盖多个理论物理方向,研究者称单道题通常相当于领域专家一天以内的工作量。
- 论文摘要称,最佳智能体在允许检索文献和编写脚本的现实条件下达到98%准确率,平均成本低于3美元。
- 研究还称,关闭网页搜索和背景论文访问后,平均准确率变化较小,这可能反映模型记忆或题目与既有文献之间的联系,但不能据此证明模型独立完成了新理论发现。
- 影响/看点:该基准可能提升对 AI 科研辅助计算能力的认识,但其影响边界取决于题目代表性、答案核验方式、重复运行结果以及能否提出并验证原创问题。
- 资料依据:
- arXiv论文(2026-10-09):https://arxiv.org/abs/2610.16733
- X:Rohan Paul(2026-10-25):https://x.com/rohanpaul_ai/status/2114306498658812026
本内容由 AI 生成,仅供参考,请注意甄别