苹果评估PrismML量化AI技术，有望在iPhone上运行27B模型

苹果正评估PrismML的1-bit模型压缩技术，该技术可将27B参数模型从54GB压缩至不到4GB，有望在iPhone上原生运行大模型。

• PrismML的核心是原生1-bit量化，权重仅用{-1,+1}，配合分组缩放因子，模型体积压缩至1/14，内存占用降低超90%。
• 压缩后的Bonsai 27B模型在12GB内存的iPhone上可运行，保留约90%的智能水平，但事实推理、数学和编程能力明显减弱。
• 推理速度提升最高8倍，能耗降低75%-80%，但性能有取舍：3-bit保留95%得分，1-bit保留90%。
• 苹果与PrismML的会谈尚处早期，可能涉及授权或收购，若落地将极大推动端侧AI发展。
• 影响/看点：若苹果采用该技术，未来iPhone无需联网即可运行强大AI模型，隐私和响应速度将大幅提升，但量化带来的精度损失仍需权衡。