英伟达推出 TensorRT Edge-LLM：Jetson AGX Thor 端侧 Agent 推理提速 6.4 倍

英伟达于 2026 年 9 月 16 日在技术博客发布 TensorRT Edge-LLM，展示其在端侧智能体推理上的加速优化能力，为边缘计算与机器人领域提供了新的参考。

• 端侧智能体工作流包含工具调用与多步推理，促使上下文长度逐步增加并对生成时延提出更高要求。
• 在 Jetson AGX Thor 平台运行 MLPerf Edge Agentic 基准测试时，TensorRT Edge-LLM 实现了 6.4 倍的完成速度提升。
• 该方案重点面向车载、机器人等边缘计算场景，旨在降低多轮长上下文推理的计算开销。
• 影响/看点：这意味着端侧复杂多步推理在功耗受限设备上的运行效率得到提升，其在工业落地中的表现仍取决于具体下游模型的适配程度与软硬件协同优化。
• 资料依据：
• NVIDIA Technical Blog（2026-09-16）：https://developer.nvidia.com/blog/tensorrt-edge-llm-completes-the-mlperf-edge-agentic-benchmark-6-4x-faster-on-jetson-agx-thor/

本内容由 AI 生成，仅供参考，请注意甄别