重构通信与算子内核：PCIe 显卡运行 DeepSeek 推理吞吐提升近 7 倍

业内技术团队通过算子内核补齐与通信架构重构，在通用 PCIe 显卡集群上实现了 DeepSeek 等大语言模型推理吞吐量的显著提升，为低成本推理集群搭建提供了工程实践参考。

• 针对 PCIe 显卡跨卡通信带宽受限的瓶颈，该方案重构了底层通信拓扑并补齐了定制算子内核。
• 优化后在特定多卡集群配置下，大模型推理吞吐量提升至原先的近 7 倍，使得部分普通硬件组合的吞吐表现能够逼近或优于高端专用互联芯片。
• 该方案重点降低了由于显存和总线通信等待造成的计算闲置，改善了大规模参数模型在非专用拓扑上的并行效率。
• 影响/看点：这意味着通过底层算子与通信调度层面的深度工程优化，能够有效缓解高端专用互联硬件短缺的压力，其推广价值取决于具体模型架构的兼容性与定制内核的维护成本。
• 资料依据:
• 量子位（2026-09-24）：https://www.qbitai.com/2026/09/496925.html

本内容由 AI 生成，仅供参考，请注意甄别