MiniCPM5-2B在iPhone Air上实现每秒37个Token

2026年10月9日，OpenBMB在X上称，MiniCPM5-2B在“iPhone Air”上达到每秒37个Token，关注价值在于小型模型的移动端推理速度与本地部署可能性。

• 37 tok/s是OpenBMB帖子给出的单点结果，但帖子未说明量化方式、上下文长度、输出长度、温度或测试工具。
• 该指标只反映一次设备与模型组合的推理表现，不能直接等同于综合质量、功耗、首Token延迟或长文本稳定性。
• 如果模型确实能够在手机端持续运行，用户可能减少对云端推理的依赖，并获得更好的离线可用性与数据本地化条件。
• 移动端应用仍需同时评估内存占用、发热、续航和多模态输入等因素。
• 影响/看点：该消息可能推动端侧模型比较从“能否运行”转向“速度、能耗与任务质量”的联合评测，成立条件是后续公开可复现实验配置和完整基准结果。资料依据：
• OpenBMB（2026-10-09）：关于MiniCPM5-2B移动端速度的帖子 https://x.com/OpenBMB/status/2108474901216768278

本内容由 AI 生成，仅供参考，请注意甄别