Agent算力需求暴增，商汤提出异构算力接力方案

Agent应用导致算力需求暴增，商汤提出异构算力接力方案，并已实现盈利。

• 随着AI从“陪聊”转向“干活”，Agent的算力消耗激增：编码Agent每生成1个输出Token平均需处理约154个输入Token，推理算力需求同比增长5-10倍。
• 商汤提出“异构混合推理”，将推理过程拆分为Prefill（读题）和Decode（答题）两个阶段，分别用国产通用卡和高端卡处理，以优化成本和效率。
• 该方案已实现国产芯片参与的混推集群盈利，收入覆盖折旧、电费、人员等成本后利润率为正，单卡有效利用率最高提升152%。
• 商汤通过端到端控制（从硬件到调度系统）实现系统级优化，避免了分层割裂导致的效率损失。
• 影响/看点：商汤的方案证明国产算力不必等待单卡性能追平英伟达，通过系统分工即可进入商业市场，为国内AI基础设施提供了可复用的路径。

本内容由 AI 生成，仅供参考，请注意甄别