Anthropic 前沿研究员因担忧自我改进 AI 风险辞职,呼吁顶尖机构协同控速
Anthropic 前沿研究员因担忧自我改进 AI 的失控风险离职,呼吁顶尖机构间达成控速协议。
AI 深度解读
曾供职于 OpenAI 与 Anthropic 的前沿 AI 研究员 Jacob Coxon 于 2026 年 9 月 8 日宣布从 Anthropic 辞职并公开发文警告自我改进人工智能的失控风险,呼吁领先实验室之间建立协同控速机制以防范技术反噬。
- Jacob Coxon 在公开信中指出当前主要 AI 实验室在迈向具有自主改进能力的超级智能竞赛中存在忽视系统性安全控制的问题。
- 其核心关切在于高度自主的 AI 系统可能具备网络渗透与自主获取现实资源的能力,而现有对齐技术尚未形成可靠的控制理论。
- Anthropic 对齐科学负责人 Evan Hubinger 随后公开支持其关切,承认行业尚未建立针对超级智能对齐的完整技术方案。
- 该离职事件反映了前沿 AI 实验室内部在商业化推进、研发速度与安全伦理之间持续存在的张力。
- 影响/看点:一线核心技术人员的离职表态可能进一步加剧监管机构对前沿模型自主能力的审查压力,但行业协同控速倡议能否转化为实际约束取决于跨机构及跨国监管框架的落地执行。
- 资料依据:
- TechCrunch(2026-09-09):https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai/
- X:Jacob Coxon(2026-09-08):https://x.com/jakecoxon
本内容由 AI 生成,仅供参考,请注意甄别