英伟达推出 Open Agent Safety 开源平台:实现智能体硬件级持续监测
英伟达推出 Open Agent Safety 开源平台,通过芯片硬件级监测技术实现对 AI 智能体运行安全的持续监控。
AI 深度解读
英伟达推出开源架构 Open Agent Safety Platform,提出结合软件运行时与底层硬件的一体化智能体安全参考设计,为解决自主智能体越狱与行为漂移提供了硬件级监控方案。
- 平台构建了软硬件分层的安全架构,在 Vera CPU 上运行 OpenShell 运行时,在 BlueField-4 DPU 硬件上运行 NVIDIA Sentry 独立看门狗。
- 确立五大核心原则:策略可形式化验证、带外(Out-of-band)独立执行、控制通往模型核心的路径、智能体权限与推理透明度挂钩,以及多方分担责任模型。
- 针对智能体在长周期复杂任务中可能产生的「行为漂移」(Drift),通过将 DPU 置于节点通往模型的唯一网络路径上,实现线速级带外监测与物理级即时阻断。
- 借助 NVIDIA DOCA 框架将智能体交互、策略决策与工具访问进行关联审计,确保控制逻辑独立于智能体本身,防止智能体篡改监控机制。
- 影响/看点:若硬件级监控方案能够与各类开源模型及算力集群实现无缝集成,意味着关键任务智能体的安全防御将从软件补丁演进为硅级硬件强制约束,但其普及依赖于特定硬件基础设施的部署支持。
- 资料依据:
- NVIDIA Technical Blog(2026-09-28):https://developer.nvidia.com/blog/nvidia-open-agent-safety-platform-a-reference-for-continuous-in-silicon-agent-monitoring/
本内容由 AI 生成,仅供参考,请注意甄别