Google DeepMind 试点全球首个 AI 模型「双盲评估」机制
Google DeepMind 启动全球首个 AI 模型双盲评估机制试点,旨在建立更加客观公允的模型评测流程。
AI 深度解读
Google DeepMind 于2026年8月27日宣布,正与新加坡人工智能安全研究所、OpenMined、AVERI 和 MLCommons 试点一种“双盲”AI 评估,用加密环境同时隔离模型权重与外部测试题;其关注价值在于回应基准污染可能削弱模型测评可信度的问题。
- 该方案使用 Google Cloud Confidential Space 等机密计算机制,将评估数据和专有模型放入可验证的加密环境中。
- 评估方不能看到 Gemini Flash Lite 的模型权重,Google 也不能看到评估方的测试提示词,双方在信息上形成隔离。
- 传统外部测评通常需要在交出测试题和交出模型权重之间作取舍,双盲机制试图降低这两类泄露风险。
- 方案重点解决的是测试过程中的信息控制,并不自动保证测试指标设计合理,也不能消除训练数据中潜在的既有污染。
- Google DeepMind 表示,该试点面向网络安全、政府评估等对数据保密要求较高的场景,但目前公开信息主要描述机制和合作方,未给出完整测试结果。
- 影响/看点:如果技术报告能证明加密隔离不会显著增加评估成本,并获得独立机构复核,这类机制可能提高专有模型接受外部测评的可行性;其实际影响取决于验证范围、评估题质量和参与方是否披露足够方法细节。
- 资料依据:Google DeepMind《Piloting the world's first double-blind AI evaluations》,2026年8月27日,https://deepmind.google/blog/piloting-the-worlds-first-double-blind-ai-evaluations/
本内容由 AI 生成,仅供参考,请注意甄别