Zyphra 开源 ZYFA：面向 AMD MI355X 的 FP8 FlashAttention，最高提速 1.76 倍

Zyphra发布并开源了面向AMD Instinct MI355X的ZYFA注意力内核，官方仓库显示其支持FP8和BF16预填充注意力，关注价值在于AMD平台上的长上下文推理效率与精度权衡。

• Zyphra称，在捕获的Mistral、Qwen和DeepSeek模型激活值上，FP8吞吐相对AITER提升约1.16至1.76倍。
• 仓库同时披露，BF16性能大致接近AITER，FP8优势主要来自内核调度、概率计算和分块缩放等设计。
• 支持范围较窄，当前要求MI355X、ROCm 7.2.3和PyTorch 2.12，并主要面向因果预填充。
• 官方基准也说明，实际激活值下的收益低于部分高斯输入测试，不能直接外推到所有模型和负载。
• 影响/看点：ZYFA可能降低特定AMD推理场景的性能瓶颈，但能否形成普遍优势取决于模型形状、序列长度、功耗策略和对解码、KV缓存等未支持功能的补齐。
• 资料依据:
• Zyphra GitHub（2026-11-06）：ZYFA https://github.com/Zyphra/zyfa
• MarkTechPost（2026-11-06）：Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster https://www.marktechpost.com/2026/11/06/zyphra-zyfa-fp8-flashattention-amd-mi355x/

本内容由 AI 生成，仅供参考，请注意甄别