SemiAnalysis 分析：英伟达 GB300 NVL72 在长上下文智能体负载下性价比达 H200 的 7 倍

半导体研究机构 SemiAnalysis 发布报告指出，英伟达 GB300 NVL72 机架在长上下文智能体工作负载下的单位成本性能可达 H200 的 7 倍。

• 性能提升主要得益于计算架构对分离式预填充（Disaggregated Prefill）与宽专家并行（Wide MoE Parallelism）的专门优化。
• NVL72 机架内采用的高带宽铜背板互连技术，有效降低了跨 GPU 传输延迟并提升了混合专家模型的通信效率。
• 针对以长上下文检索和多轮工具调用为特征的智能体推理负载，新机架展现出明显的硬件吞吐优势。
• 影响/看点：硬件架构针对长文本与 MoE 并行进行软硬件协同定制，可能会压低超长上下文智能体应用的推理成本，但该性价比优势的落地依赖于数据中心机房配套的电力与液冷部署能力。
• 资料依据：
• 1. SemiAnalysis X 官方发布 https://x.com/SemiAnalysis_/status/2093383571629109263

本内容由 AI 生成，仅供参考，请注意甄别