告别审稿抽卡:全新LLM校准机制统一AI顶会评分尺度
华中科技大学团队提出利用LLM校准审稿评语与分数的映射关系,以解决AI顶会评审尺度不一致问题。
AI 深度解读
华中科技大学提出利用LLM校准审稿评分,解决AI顶会评审尺度不一致问题。
- 随着NeurIPS、ICLR等顶会投稿量激增,审稿人评分标准差异日益严重,导致评审像“抽卡游戏”。
- 研究团队提出LLM校准模块,将审稿意见结构化后生成锚点分数,与实际评分比较,偏差过大则触发复核。
- 基于ICLR 2023-2025数据的实验表明,校准后的评分排序与论文长期引用量更一致,在边缘论文上平均引用量提升94%。
- 该方法不替代人类审稿,而是作为辅助工具,减少评分随机性,保留合理学术分歧。
- 影响/看点:LLM校准机制有望提升同行评审的公平性和稳定性,尤其对处于录用边缘的论文影响显著,可能成为未来学术评审的标准辅助工具。
本内容由 AI 生成,仅供参考,请注意甄别