辛顿等 20 余位顶尖 AI 学者联名预警：自动化自迭代研究蕴含极端失控风险

剑桥大学人工智能科学与政策项目（CASP）于 2026 年 9 月 28 日联合 Geoffrey Hinton、Yoshua Bengio 及 OpenAI 首席科学家 Jakub Pachocki 等 20 余位顶尖学者发布报告，预警自动化 AI 研发可能引发不可控的“智能爆炸”风险。

• 递归自迭代风险：报告指出前沿模型已参与代码编写等研发任务，若实现具备专家级能力的自迭代闭环，可能形成技术自我加速的反馈回路。
• 演进节奏压缩：自迭代加速可能将数年的研发周期压缩至数月内，大幅缩短人类社会与监管机构的响应窗口。
• 失控与治理隐患：多位学者以个人身份警示，若超人类系统在缺乏有效控制与对齐的前提下演进，可能引发不可逆的治理风险乃至极端危机。
• 政策应对建议：专家呼吁各国政策制定者建立对前沿实验室研发自动化水平的透明度报告机制、引入独立审计与国际约束框架。
• 影响/看点：该联名报告将 AI 安全讨论拓展至模型研发自动化本身，若促使监管机构对自动化代码与自迭代闭环设立合规审计标准，可能重塑前沿 AI 实验室的研发与发布规范。
• 资料依据：
• 剑桥大学CASP（2026-09-28）：https://casp.ac/reports/intelligence-explosion
• The Decoder（2026-09-28）：https://the-decoder.com/more-than-20-leading-ai-researchers-warn-that-automated-ai-research-poses-extreme-risks/

本内容由 AI 生成，仅供参考，请注意甄别