英伟达开源本地推理路由器 PAIR：跨设备分发与调度多智能体推理请求

英伟达发布开源虚拟推理路由工具 Personal AI Router（PAIR）公开测试版，旨在通过局域网多设备协同分发多智能体任务中的密集推理请求。

• PAIR 采用 Apache 2.0 协议开源，提供 Windows、macOS 与 Linux 安装包，核心定位为虚拟推理路由器而非新型推理引擎。
• 该工具无需修改现有智能体框架，直接代理 Ollama 和 LM Studio 端口，并提供兼容 OpenAI 的代理端点。
• 节点间通过 mDNS 协议或 IP 地址完成发现，基于 6 位 PIN 码配对并使用 mTLS 证书加密通信，支持按各节点已加载模型与运行状态进行权重调度。
• 影响/看点：该方案有望缓解多智能体并发调用对单机算力造成的排队拥堵，其规模化落地的关键在于本地局域网带宽稳定性与跨设备模型分发管理的协同效率。
• 资料依据：
• MarkTechPost（2026-09-04）：https://www.marktechpost.com/2026/09/04/nvidia-releases-personal-ai-router-pair-an-open-source-virtual-inference-router-that-distributes-local-ai-requests-across-rtx-dgx-spark-and-mac-nodes/
• GitHub 官方发布（2026-09-04）：https://github.com/NVIDIA/pair

本内容由 AI 生成，仅供参考，请注意甄别