英伟达开源 PAIR 虚拟推理路由器:聚合局域网算力加速多智能体协同

📡 NVIDIA Technical Blog2026-09-04 00:00

英伟达开源虚拟推理路由工具 PAIR,可聚合局域网计算资源以加速多智能体协同任务。

AI 深度解读

NVIDIA Technical Blog 于 2026 年 9 月 3 日发布开源路由器 PAIR 测试版,通过聚合局域网算力缓解本地多智能体协同推理时的排队瓶颈。

  • 兼容现有生态:代理 Ollama 与 LM Studio 接口,无需修改智能体代码或适配专用 API。
  • 动态调度分发:利用 mDNS 发现节点并以 mTLS 加密,依 GPU 负载与模型状态调度推理。
  • 支持异构平台:覆盖 Windows、macOS 与 Linux,兼容 RTX 20 系以上显卡及 Apple M4+。
  • 缩减处理耗时:官方五智能体测试显示,三机集群将处理用时由单机 18 分钟缩短至 8 分 48 秒。
  • 影响/看点:该工具意味着本地多智能体可灵活调用局域网闲置算力,但实际提速受限于子任务可并行度与网络状态。
  • 资料依据:
  • NVIDIA Technical Blog(2026-09-03):https://developer.nvidia.com/blog/nvidia-pair-virtual-inference-router-expands-available-compute-on-your-local-network/

本内容由 AI 生成,仅供参考,请注意甄别

查看原文 ↗
看实时 AI 热点雷达 实时信息流 · 事件聚类 · 订阅推送 —— 完整产品在 aihot.aicxd.com
AI 助手