Jev-as-a-Judge 级联评测方案：在保留 99% 准确率的同时降低 43% 评估成本

研究团队于 2026 年 9 月 24 日提出级联大模型裁判方案 Jev-as-a-Judge，旨在通过置信度分流机制降低自动化模型评估的计算与财务开销。

• 核心逻辑基于分级路由，系统优先由成本较低的轻量裁判模型（JEV）进行评估，仅当模型给出低置信度或不确定判定时，才将样本升级至前沿大模型 GPT-6 Astra 处理。
• 评测数据显示，在 510 个保留偏好评估数据集上，该级联架构在保留 GPT-6 约 99% 评判准确率的前提下，综合评测成本降至原先的 57%（减少约 43% 支出）。
• 研究表明多数常规评测样本的优劣对比边界清晰，无需全量调用高阶前沿模型即可获得高置信度结论。
• 影响/看点：该方案意味着大模型工业化持续评测与对齐训练中的裁判成本有望被有效压缩，但其有效性高度依赖轻量模型对自身不确定性的校准精度，若置信度预测失效则可能引入系统性评估偏差。
• 资料依据：
• X：DAIR.AI (@dair_ai)（2026-09-24）：https://x.com/dair_ai/status/2103147453717545278
• arXiv（2026-09-24）：https://arxiv.org/abs/2609.14728

本内容由 AI 生成，仅供参考，请注意甄别