[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"aihot-art-86911":3},{"itemId":4,"vertical":5,"category":6,"source":7,"score":8,"title":9,"summary":10,"analysis":11,"url":12,"coverUrl":13,"direction":13,"marketSignal":13,"publishedAt":14},"86911","ai","论文研究","MarkTechPost",58,"Soofi 联盟发布开源混合 Mamba-Transformer MoE 基础模型 Soofi S 30B-A3B","Soofi 联盟发布开源混合 Mamba-Transformer MoE 基础模型 Soofi S 30B-A3B。","德国研究联盟发布的开源混合架构基础模型 Soofi S 30B-A3B，在英语和德语任务上取得最高综合得分，值得关注其创新的 Mamba-Transformer MoE 设计。\n· 模型总参数量约 316 亿，每 token 仅激活约 32 亿参数，采用 52 层混合架构：23 层 Mamba-2、23 层 MoE（128 专家，每 token 激活 6 个）和 6 层分组查询注意力（GQA），仅 GQA 层维护 KV 缓存，显著提升推理效率。\n· 训练采用 Warmup-Stable-Decay 三阶段策略，共消耗约 26.68T token：第一阶段 20T 通用数据，第二阶段 6.58T 高质量退火数据，第三阶段 0.1T 长序列（1M token）扩展上下文窗口。德语占比从 7.2% 提升至 15.32%。\n· 模型基于 Nemotron 3 Nano 参考设计，确保可部署性（如 vLLM）和科学对照，数据配方是唯一变量。德语数据来源包括 HPLT、German Commons、FinePDFs 等，以及 Genios 提供的 1.93 亿篇报刊文章。\n· 预览权重已开源至 Hugging Face，由德国联邦经济事务和能源部资助，联合 Fraunhofer IAIS、DFKI 等机构开发。\n看点：Soofi S 证明了混合 Mamba-Transformer MoE 架构在双语场景下的有效性，为开源社区提供了高效、可复现的基础模型新范式。","https:\u002F\u002Fwww.marktechpost.com\u002F2026\u002F07\u002F15\u002Fsoofi-consortium-releases-soofi-s-30b-a3b-an-open-hybrid-mamba-transformer-moe-foundation-model-for-german-and-english\u002F",null,"2026-07-16 05:02:48"]