Inkling-Small开源:276B总参12B激活,性能持平四倍大模型

Thinking Machines 开源了 Inkling-Small,总参数 276B、实际激活仅 12B,却在只有 Inkling 四分之一规模的情况下做到了性能相当,权重已完全开放,并且可以直接在 Tinker 平台微调或试用。

• 采用稀疏激活架构,276B 总参数中只有 12B 参与实际计算,大幅降低推理成本
• 官方给出的对比是“四分之一规模,性能持平”原版 Inkling 模型
• 完整权重开源,不是仅开放推理接口,便于社区二次训练和研究
• 即日起可在 Tinker 平台上直接微调,或在 Tinker Playground 中以文本、图像、音频多模态方式体验
• 属于 Thinking Machines(Mira Murati 创立的实验室)持续推进开放权重模型的又一步
• 用四分之一参数规模做到相近效果,对成本敏感、想要私有化部署或微调的团队是个有吸引力的选择,也进一步说明“稀疏激活+知识蒸馏”路线在中大型模型上的性价比优势正在被验证。

本内容由 AI 生成，仅供参考，请注意甄别