大模型幻觉险些触发美军军事行动，智库警告不确定性风险

美国特种作战司令部在一次军事情报合成测试中因大模型幻觉生成虚假涉核警报，险些引发实战军事打击，凸显了生成式 AI 介入国防决策时的可靠性隐患。

• 情报分析人员在使用 AI 聊天工具融合开源情报与机密信号数据时，模型幻觉生成了关于货船运输核武器部件的虚假情报并向上级流转。
• 军方战机已进入待命与升空阶段，最终在核验原始数据源发现虚构后在行动前紧急叫停。
• 人工智能治理智库 GovAI 学者 Jake Steckler 指出，军方绝不能将大模型输出直接作为行动依据，必须建立严格的溯源核验机制、明确的内容标识以及将 AI 定位为“线索提供者”的操作规范。
• 影响/看点：这表明在缺乏严格人工闭环复核的前提下，将生成式 AI 直接引入强时效军事指挥系统可能带来难以承受的误判风险，意味着防务领域采纳大模型将面临更加严苛的流程准入与监管审查。
• 资料依据：
• TechCrunch（2026-09-18）：https://techcrunch.com/2026/09/18/ai-hallucination-nearly-triggers-us-military-operation/
• GovAI 官方研究报告（2026-09-18）：https://www.governance.ai/research-paper/llm-uncertainty-military-decision-making

本内容由 AI 生成，仅供参考，请注意甄别