Bonsai 27B:首款可在手机上运行的27B级模型

📡 Hacker News 热门2026-07-15 03:51

Bonsai 27B模型发布,为首款可在手机上运行的270亿参数级模型。

AI 深度解读

Bonsai 27B发布,成为首款可在手机上运行的27B级模型,开启端侧AI新纪元。

  • Bonsai 27B基于Qwen3.6 27B,提供三元(1.71比特/权重)和1比特(1.125比特/权重)两种变体,分别占用5.9GB和3.9GB。
  • 三元变体可在普通笔记本电脑上运行,1比特变体首次将27B模型带入iPhone 17 Pro等手机。
  • 模型支持多步推理、结构化工具调用、视觉任务和智能体循环,保留全精度基线95%(三元)和90%(1比特)的性能。
  • 采用262K token上下文窗口,支持推测解码加速,完全开源(Apache 2.0)。
  • 影响/看点:Bonsai 27B证明了极端量化在保持高性能的同时实现端侧部署的可行性,将推动AI应用从云端向终端迁移。
查看原文 ↗ 看实时 AI 热点雷达 实时信息流 · 事件聚类 · 订阅推送 —— 完整产品在 aihot.aicxd.com