PrismML发布Bonsai 27B,全球首个可在手机本地运行的27B级大模型
PrismML发布Bonsai 27B,全球首个可在手机本地运行的27B级多模态大模型。
AI 深度解读
PrismML 发布 Bonsai 27B,号称全球首个可在手机本地运行的 27B 级大模型,基于 Qwen3 量化而来,已在实际业务中落地。
- 传统 27B 模型在 FP16 下需约 54GB 内存,4-bit 量化后仍有 18GB,手机和多数笔记本无法承载。
- Bonsai 27B 通过激进量化,使 27B 模型能在手机和笔记本上本地运行。
- 开发者已在 M1 Pro 32GB 笔记本上测试,回答速度较快,体验良好。
- 模型已接入公司业务做本地任务,支持多模态,表现稳定。
- 影响/看点:首个手机可用的 27B 模型,端侧大模型落地迈出关键一步。