Lafa：扩展到 8B 参数的大规模流式语言模型

arXiv论文《Large Flow Language Models》于2026-10-20提交，介绍了扩展到8B参数的连续流语言模型Lafa，关注价值在于尝试在保持语言模型能力的同时，用块级并行生成降低推理时间。

• Lafa在前缀部分使用因果注意力，在块内使用双向、异步流，并通过前缀缓存和块级并行解码提高生成效率。
• 研究训练了0.5B、7B和8B规模模型，论文称训练使用的token数少于30B，并在指令遵循、推理和代码任务上进行评估。
• 论文报告自推测解码在相近质量下达到自回归模型2.54倍吞吐；这一比较依赖具体基线、任务集合和解码设置，不能直接推导为所有场景的加速比例。
• GitHub仓库已提供训练与推理代码，并列出可下载的0.5B、7B和8B模型，支持流式、自回归和自推测三种解码方式。
• 影响/看点：若块级流模型能在更广泛任务和更长上下文中保持质量，语言模型推理可能获得新的并行化路线；其成立条件是质量评测可复现、显存与批处理开销可控，并能在真实服务负载下保持吞吐优势。
• 资料依据:
• arXiv论文（2026-10-20）：https://arxiv.org/abs/2610.28559
• Lafa官方GitHub仓库（2026-10-20）：https://github.com/lafa-gh/large-flow-lms

本内容由 AI 生成，仅供参考，请注意甄别