DeepSeek 推理成本为何高于训练：瓶颈在显存带宽

该条目转述一场关于 DeepSeek 推理成本的讨论，关注点在于训练与长期服务成本可能由不同硬件瓶颈决定。

• DeepSeek-V3 技术报告称，完整训练使用约 278.8 万个 H800 GPU 小时，并采用 MLA 与 DeepSeekMoE 以提高训练和推理效率。
• 条目引用的估算认为，模型上线后的累计推理卡时可能超过训练阶段，但该结论取决于日均请求量、模型寿命和服务形态。
• decode 阶段逐 token 生成，需要反复读取模型权重和 KV cache；因此显存带宽、访存效率和批处理方式可能比峰值算力更关键。
• “5% 算力利用率”和“推理成本为训练 12 倍”属于讨论中的估算，不能直接外推到所有模型或部署环境。
• 影响/看点：如果高并发服务确实长期受访存限制，推理优化重点可能从单纯增加算力转向量化、缓存、批处理和模型结构改进，成立条件是负载结构与估算假设接近实际业务。
• 资料依据:
• DeepSeek-V3 Technical Report（2024-12-27）：https://arxiv.org/abs/2412.19437
• Saito 硬地骇客 X 帖（2026-10-26）：https://x.com/SaitoWu/status/2114651886712500477

本内容由 AI 生成，仅供参考，请注意甄别