MiniMax 联合 AMD 优化 M3 模型推理性能

MiniMax 与 AMD 联合发布技术博客,宣布 AMD MI355X 在 MiniMax 自家 M3 模型上的推理性能已经逼近英伟达 B200 的水平,这是 AMD 挑战英伟达在大模型推理硬件生态锁定的一个具体案例。

• 优化对象是参数量达 428B 的 MSA 稀疏 MoE 多模态基座模型 M3,双方做的是 ATOM + ATOMesh 的全栈协同优化,而非单点调参
• 核心升级之一是 EAGLE3 投机解码技术,用于加速生成速度
• 支持 1M 超长上下文的 MSA 对齐 Page-16 KV 缓存设计,是专门针对长上下文场景做的优化
• 采用逐层 FP8 量化压缩显存与算力开销,并引入分布式 P/D(预填充/解码)分离架构提升推理服务吞吐
• MiniMax 这次公开表态释放的信号是,头部大模型厂商已经开始用真实业务验证 AMD 硬件的可用性,推理硬件的选择正从“默认锁死英伟达”变得更有弹性。

本内容由 AI 生成，仅供参考，请注意甄别