淘宝MNN团队开源0.3B手机模型，iPhone 18 Pro离线跑出350 token/s

淘宝 MNN 团队发布并开源 MNN-Pocket-0.3B，定位是面向手机端部署的轻量语言模型，关注价值在于观察小参数模型如何在本地推理的速度、内存与集成成本之间取平衡。

• Hugging Face 官方模型页显示，该模型及 Base、SFT、GGUF、MNN 等衍生版本已公开，模型规模约为 0.4B 参数。
• 模型采用 INT4 等量化与 MNN 推理格式，目标场景是手机应用内的离线文本生成与任务理解。
• IT之家报道了 iPhone 与 iPad 上的吞吐、内存和部署体积测试，但这些具体数值依赖设备、后端、上下文长度和测试方法，不能直接外推到所有手机。
• 小模型的主要优势是下载包和运行时资源较低，代价则是知识覆盖、复杂推理和长任务能力通常需要通过专项评测确认。
• 影响/看点：如果官方模型卡与第三方复现实测能在更多芯片和真实应用负载下保持相近结果，移动端离线助手的部署门槛可能下降；成立条件是测试口径透明且能力指标不只依赖单一基准。
• 资料依据:
• Hugging Face 模型页（2026-11-06）：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B
• MNN 官方 GitHub（2026-11-06）：https://github.com/alibaba/MNN
• IT之家（2026-11-06）：https://www.ithome.com/1/023/212.htm

本内容由 AI 生成，仅供参考，请注意甄别