SemiAnalysis 深度分析：晶圆级芯片在大模型场景下的片外 I/O 带宽瓶颈

半导体研究机构 SemiAnalysis 发文指出，晶圆级芯片在超大模型训练与推理场景中正面临显著的片外 I/O 带宽瓶颈制约。

• 片上与片外带宽反差：以 Cerebras WSE-3 为例，其晶圆内部集成了极高带宽的 SRAM，但数据一旦流出晶圆边界，传输速度便会出现显著下降。
• 容量限制引发多芯片扩展：单块晶圆目前仅具备 44GB 的片上 SRAM 容量，承载现代大模型必须跨多块晶圆切分，从而放大了片外受限 I/O 路径上的数据通信压力。
• 长上下文与缓存负担：在长上下文推理任务中，KV 缓存的增长会迫使系统堆叠更多晶圆，进一步加剧系统级互连带宽的瓶颈效应。
• 影响/看点：该分析意味着晶圆级芯片在大模型规模化扩展中若无法突破封装与外部互连带宽限制，其单片计算优势可能会在分布式扩展时被通信开销所稀释。
• 资料依据：
• 1. SemiAnalysis 官方 X 账号（2024年8月28日）：https://x.com/SemiAnalysis_/status/2093126655040507930

本内容由 AI 生成，仅供参考，请注意甄别