Scale AI 与加州大学提出 READY 评估框架：量化企业级智能体部署与人工监督成本

Scale AI 与加州大学研究团队于 2026 年 9 月 2 日在 arXiv 发表论文（arXiv:2609.02095），提出名为 READY 的企业级智能体评估框架，将人工监督介入与运维成本纳入智能体评测体系。

• 评测视角转变：框架改变了传统单一考量智能体独立自治完成率的做法，转为量化在满足企业特定可靠性标准下，系统所需的人工审查负荷与综合运营开销。
• 策略筛选与资质验证：READY 能够测量特定工作流下不同人机协作监督策略的成本与可靠性，自动筛选达到预定可靠性阈值的最低成本方案，并在独立保留测试集上完成统计学验证。
• 临床审计实证：在包含 16 个智能体系统与 750 个实际案例的临床审计实验中，READY 证实了在传统准确率得分相近的智能体之间，其实际部署所需的人工介入频次与总成本存在显著差异。
• 影响/看点：该研究为企业评估 AI 智能体的真实落地投资回报率提供了量化分析工具，意味着智能体选型将从理论测试集分数转向人机混合系统的经济性与风险约束评估。
• 资料依据:
• arXiv 论文（2026-09-02）：https://arxiv.org/abs/2609.02095
• X：Rohan Paul（2026-09-05）：https://x.com/rohanpaul_ai/status/2096069941405651374

本内容由 AI 生成，仅供参考，请注意甄别