实测显示 TPUv7 经 Megakernel 优化后推理吞吐达 700 tok/s，大幅领先 GB200
实测显示 TPUv7 经 Megakernel 优化后单用户推理吞吐达 700 tok/s，比 GB200 NVL72 高出 56%。
AI 深度解读
开源推理框架 vLLM 维护团队与研究机构 SemiAnalysis 于 2026 年 9 月 23 日公布测试数据，显示谷歌 TPUv7 在应用 megakernel 融合算子优化后，在 Kimi K3 模型单用户推理吞吐上达到 709 tokens/s，展现了专用 ASIC 芯片经深度软件优化后的性能潜力。
- 测试数据显示，在 16 卡配置下，TPUv7 单用户吞吐量为 709 tokens/s，较同为 16 卡配置的 NVIDIA GB200 NVL72 基准数据（452 tokens/s）高出约 56%。
- 性能增益主要来源于 megakernel 算子融合技术，有效减少了 TPU 硬件执行中的显存读写瓶颈与计算调度开销。
- 这一测试体现了 TPU 生态正通过接入 vLLM 等通用开源软件框架推进软件外部化，降低第三方开发者的适配门槛。
- 影响/看点：若 TPU 软件栈能保持与开源社区的持续兼容并进一步开放算力供给，可能在特定长文本与高并发推理场景对主流 GPU 形成有效替代，但其商业普及仍受限于谷歌硬件生态的开放程度与迁移成本。
- 资料依据：
- X：SemiAnalysis（2026-09-23）：https://x.com/SemiAnalysis_/status/2102833399475879977
- GitHub：vLLM Project（2026-09-23）：https://github.com/vllm-project/vllm
本内容由 AI 生成，仅供参考，请注意甄别