OpenAI 发布 BioBasicsBench:衡量 AI 智能体处理湿实验日常科研的能力
OpenAI 发布 BioBasicsBench,用 100 项任务评测 AI 智能体解读原始实验数据和完成湿实验日常工作的能力。
AI 深度解读
OpenAI 于 2026-11-06 发布 BioBasicsBench,用 100 项任务评估 AI 智能体解读原始湿实验数据的能力,关注点在于把实验中的歧义、控制条件和故障识别纳入测试。
- 任务覆盖蛋白质实验、成像与流式分析、定量检测、核酸方法和分子克隆,输入包括凝胶图、显微图、测序文件、仪器导出数据及操作视频。
- OpenAI 称,GPT-6 Astra 在最高推理设置下平均得分 66.7%,GPT-5.6 Sol 为 43.8%;每个设置测试 100 项任务、每项重复五次,并给出 95% 置信区间。
- 任务由科学家编写,经过内部和外部湿实验专家复核,评分细分为结论、数值、推理和识别证据不足等标准。
- 测试仍显示局限:模型可能误读对照、选错克隆菌落,或在菌落计数中出现约 12% 的偏差。
- 影响/看点:该基准可能帮助研究机构评估模型处理真实实验材料的可靠性,但其代表性取决于任务设计、样本覆盖和独立复测;分数提升不能直接等同于可在实验室自主决策。
- 资料依据:
- OpenAI(2026-11-06):https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science/
本内容由 AI 生成,仅供参考,请注意甄别