SemiAnalysis 新基准:没有 AI 智能体在真实工作测试中超过 12%
SemiAnalysis新基准测试显示,没有AI智能体在真实知识工作任务中得分超过12%。
AI 深度解读
SemiAnalysis 于 2026-11-02 发布 GDPx 基准,The Decoder 于 2026-11-05 报道其结果:在覆盖 11 个专业领域的 206 项任务中,最高模型得分为 12%,关注价值在于测试智能体能否在较长流程和软件环境中完成实际工作。
- SemiAnalysis 采用 14 家领域合作方提供的任务,涵盖芯片设计、生物、金融、法律、网络安全、量化交易和软件工程等领域。
- 官方排行榜显示,Claude Opus 5.5 得分 12.0%,Gemini 4 Carbon 为 10.9%,GPT-6 Astra 为 9.6%;总分按 11 个领域等权平均。
- 方法说明称,任务通常允许最长 8 小时,模型优先使用各自原生工具链,并以三次尝试的 pass@1 作为标题指标;不同工具环境会影响结果可比性。
- SemiAnalysis 也承认,部分领域任务数量较少,且安全分类器可能压低模型在网络、生物和对齐任务上的成绩;排除这三类后,排名会发生变化。
- 影响/看点:GDPx 更接近长流程工作能力的测试,但其结论成立条件是任务难度、评分器质量、工具配置和安全策略能够被外部充分复核,单一总分不足以代表通用生产力。
- 资料依据:
- SemiAnalysis(2026-11-02):https://newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities
- The Decoder(2026-11-05):https://the-decoder.com/no-ai-agent-scores-above-12-percent-on-semianalysis-new-real-world-work-benchmark/
本内容由 AI 生成,仅供参考,请注意甄别