Soofi 联盟发布开源混合 Mamba-Transformer MoE 基础模型 Soofi S 30B-A3B

德国研究联盟发布的开源混合架构基础模型 Soofi S 30B-A3B，在英语和德语任务上取得最高综合得分，值得关注其创新的 Mamba-Transformer MoE 设计。

• 模型总参数量约 316 亿，每 token 仅激活约 32 亿参数，采用 52 层混合架构：23 层 Mamba-2、23 层 MoE（128 专家，每 token 激活 6 个）和 6 层分组查询注意力（GQA），仅 GQA 层维护 KV 缓存，显著提升推理效率。
• 训练采用 Warmup-Stable-Decay 三阶段策略，共消耗约 26.68T token：第一阶段 20T 通用数据，第二阶段 6.58T 高质量退火数据，第三阶段 0.1T 长序列（1M token）扩展上下文窗口。德语占比从 7.2% 提升至 15.32%。
• 模型基于 Nemotron 3 Nano 参考设计，确保可部署性（如 vLLM）和科学对照，数据配方是唯一变量。德语数据来源包括 HPLT、German Commons、FinePDFs 等，以及 Genios 提供的 1.93 亿篇报刊文章。
• 预览权重已开源至 Hugging Face，由德国联邦经济事务和能源部资助，联合 Fraunhofer IAIS、DFKI 等机构开发。
• 看点：Soofi S 证明了混合 Mamba-Transformer MoE 架构在双语场景下的有效性，为开源社区提供了高效、可复现的基础模型新范式。