篡改数据集可能欺骗 AI 智能体

这篇 Nature 文章揭示了一个令人不安的事实：攻击者可以通过篡改训练数据来操纵 AI 智能体的行为，而现有防御手段对此几乎无效。

• 研究指出，针对 AI 智能体的“数据投毒”攻击比传统模型攻击更隐蔽，因为智能体在交互中会动态调用工具和记忆，攻击者可以利用这一点植入后门。
• 实验表明，只需修改少量训练样本（如改变指令中的关键词），就能让智能体在特定场景下执行恶意操作，比如泄露用户隐私或错误调用 API。
• 更危险的是，这类攻击难以被常规测试发现，因为智能体的行为在非触发条件下完全正常，只有攻击者预设的“触发器”出现时才会异常。
• 论文呼吁社区关注智能体特有的安全风险，并建议在训练和部署阶段引入对抗性验证流程。
• 影响/看点：随着 AI 智能体进入金融、医疗等关键领域，数据投毒可能成为最棘手的威胁之一，这篇研究为防御策略敲响了警钟。