MBZUAI旗下IFM开源K2 Horizon系列模型：覆盖0.9B至375B及全套训练资产

MBZUAI 旗下的基础模型研究所（IFM）于 2026 年 9 月发布 K2 Horizon 系列开源模型，涵盖 0.9B 至 375B 规模并同步开放预训练语料、代码与中间检查点，其关注价值在于为社区提供了从端侧到企业级全套可验证的训练资产。

• 包含 0.9B、3.7B、7B、32B 稠密模型，以及 36B-A4B 和 375B-A23B 混合专家模型，均采用 Apache 2.0 许可证，支持 FP8 与 GGUF 格式。
• 预训练数据约 20 万亿 token，其中合成数据约 10 万亿 token，包含近 17% 显式推理轨迹，并在预训练阶段中期融入后训练任务。
• 架构上引入将专家路由延伸至多头注意力的 MoVA 机制，并提供 Uno 扩散蒸馏加速方案，默认采用 Markdown 定义工具调用接口。
• 六款模型保持统一架构与接口规范，首发适配 vLLM、SGLang、Ollama 等推理框架，支持 NVIDIA、AMD 及 Cerebras 等硬件平台。
• 影响/看点：全流程训练资产与多尺寸一致架构的开放，意味着研发团队在构建分级模型路由时能降低迁移成本，其商业化应用深度取决于实际长序列推理中的成本表现与稳定性。
• 资料依据：
• MarkTechPost（2026-09-06）：https://www.marktechpost.com/2026/09/06/ifm-releases-k2-horizon-six-apache-2-0-models-from-0-9b-to-375b/
• Hugging Face（2026-09-03）：https://huggingface.co/collections/ifm/k2-horizon-66d782b5d4e176b647f113a2

本内容由 AI 生成，仅供参考，请注意甄别