Aleph Alpha 发布 Kolibri：仅激活 34.6 亿参数的 781 亿参数英德 MoE 模型

Aleph Alpha 发布 Kolibri-1，这是一个面向英语和德语的 781 亿参数、每个 token 激活约 34.6 亿参数的开权重 MoE 模型，关注点在于以稀疏计算和较长上下文服务欧洲本地化部署需求。

• MarkTechPost称模型采用 Apache 2.0 许可，最大上下文窗口为 1,048,576 tokens，并允许按请求设置推理强度。
• 其稀疏结构并不意味着模型总存储需求很低；报道给出的 FP8 权重约 78GB，部署仍需要相应 GPU 资源。
• Aleph Alpha 技术报告称模型训练覆盖 24T tokens，并使用滑动窗口与全注意力混合结构控制长上下文成本。
• 报道中的基准由发布方团队统一评测，适合了解设计取舍，但不能替代独立复现或真实业务成本测试。
• 影响/看点：Kolibri 可能为受监管行业提供英语—德语开权重选项，实际竞争力取决于独立评测、许可证适用范围、推理成本和欧洲部署合规要求。
• 资料依据:
• Aleph Alpha 技术报告（2026-10-04）：https://aleph-alpha.com/downloads/tech-report.pdf
• Hugging Face Kolibri-1 模型页（2026-10-04）：https://huggingface.co/Aleph-Alpha/Kolibri-1
• MarkTechPost（2026-10-04）：https://www.marktechpost.com/2026/10/04/aleph-alpha-releases-kolibri-a-78-1b-open-weight-english-german-moe-model-with-only-3-46b-active-parameters/

本内容由 AI 生成，仅供参考，请注意甄别