Bonsai 27B:首款可在手机上运行的27B级模型
Bonsai 27B模型发布,为首款可在手机上运行的270亿参数级模型。
AI 深度解读
Bonsai 27B发布,成为首款可在手机上运行的27B级模型,开启端侧AI新纪元。
- Bonsai 27B基于Qwen3.6 27B,提供三元(1.71比特/权重)和1比特(1.125比特/权重)两种变体,分别占用5.9GB和3.9GB。
- 三元变体可在普通笔记本电脑上运行,1比特变体首次将27B模型带入iPhone 17 Pro等手机。
- 模型支持多步推理、结构化工具调用、视觉任务和智能体循环,保留全精度基线95%(三元)和90%(1比特)的性能。
- 采用262K token上下文窗口,支持推测解码加速,完全开源(Apache 2.0)。
- 影响/看点:Bonsai 27B证明了极端量化在保持高性能的同时实现端侧部署的可行性,将推动AI应用从云端向终端迁移。