Google在Ironwood TPU上优化Qwen 3.5-397B MoE推理性能

📡 洪明2026-07-15 10:41

Google在Ironwood TPU上优化Qwen 3.5-397B MoE推理,预填充达理论峰值82.4%。

AI 深度解读

Google 在 Ironwood TPU 上优化 Qwen 3.5-397B MoE 推理性能,探索将大模型推理拆解到硬件边界。

  • 针对 397B 参数的 MoE 模型,在 Ironwood TPU 上进行推理优化。
  • 优化可能涉及模型并行、内存管理、计算调度等硬件级技术。
  • 该工作展示了 Google 在硬件-模型协同优化上的持续投入。
  • 对于超大模型,硬件定制优化是降低推理成本、提升效率的关键路径。
  • 影响/看点:Google 与 Qwen 的合作表明,硬件与模型联合优化是超大模型落地的必然方向。
查看原文 ↗ 看实时 AI 热点雷达 实时信息流 · 事件聚类 · 订阅推送 —— 完整产品在 aihot.aicxd.com