面壁智能 MiniCPM-o 4.5 支持苹果芯片端侧高效量化运行

面壁智能与 Tylogi 合作推出 MiniCPM-o 4.5 的 TyloQuant MFQ 量化版本，实现了该多模态模型在苹果芯片设备上的本地高效推理。

• 方案采用神经元感知的混合格式量化（MFQ），在压缩显存占用的同时保留了视觉、音频与实时语音交互能力。
• 针对端侧硬件提供了分级量化配置，并基于 Metal 及 CUDA 内核进行了底层计算加速优化。
• 使得消费级 Mac 电脑能够在不依赖云端算力的情况下运行端到端全模态模型。
• 影响/看点：端侧全模态量化技术的推进降低了本地多模态应用的硬件门槛，若在长时语音和视频交互下的发热与吞吐能保持稳定，可能会加速隐私敏感型本地 AI 助手的落地。
• 资料依据：
• 1. 面壁智能 OpenBMB 官方 X 发布 https://x.com/OpenBMB/status/2093337998859636738

本内容由 AI 生成，仅供参考，请注意甄别