Thinking Machines 发布开源模型 Inkling-Small，激活参数仅为 Inkling 三分之一

Thinking Machines 发布了开源权重模型 Inkling-Small,用更小的激活参数做到了比自家旗舰模型更强的部分表现,释放出“小激活也能打赢大模型”的信号。

• 总参数量 276B,每 token 激活仅 12B,只有旗舰 Inkling(激活 41B)的三分之一
• 在 HLE 基准上以 31.6% 的成绩超过了参数更大的 Inkling(29.7%),说明激活参数并非越大越好
• SWE-bench Verified 达到 80.2%,在真实软件工程任务上具备较强的实战能力
• 针对音频智能场景做了专门优化,包括预训练数据混合调整、知识蒸馏,以及两周时间的智能体编码强化学习(RL)训练
• 以开源权重形式发布,方便研究者和开发者直接获取模型进行本地部署与二次开发
• 看点在于:小激活参数模型反超大模型的案例,进一步佐证 MoE 路线上“效率优先”正成为新的竞争维度,对算力有限的团队是个积极信号。

本内容由 AI 生成，仅供参考，请注意甄别