面壁解析 LES 调度技术:MiniCPM-V 4.7 在 iPhone 上跑出 20.51 tokens/s
面壁解析LES调度技术,解决MoE专家权重加载等待,使35B的MiniCPM-V 4.7在iPhone上达20.51 tokens/s。
AI 深度解读
面壁智能官方账号发布了关于 LES 推理技术的介绍,称 MiniCPM-V 4.7 在 iPhone 上达到每秒 20.51 个 token,关注价值在于它针对端侧 MoE 模型的内存与专家权重调度问题提出了工程化方案。
- 帖子将 LES 解释为 Lookahead Expert Scheduling,用于减少专家权重加载造成的等待。
- 其目标场景是总参数量较大、单次激活参数较少的 MoE 模型在有限内存设备上的运行。
- 20.51 tokens/s 是特定设备、模型配置和测试任务下的指标,不能单独代表整体响应延迟或能耗表现。
- 端侧速度还会受到首 token 延迟、上下文长度、量化方式、内存占用和持续运行温度的影响。
- 影响/看点:若该调度方法能在不同 iPhone 型号和多类输入上保持收益,端侧多模态模型的可用范围可能扩大;成立条件是官方披露完整基准,并同时报告质量、能耗和长时间运行稳定性。
- 资料依据:
- 面壁智能 OpenBMB(2026-10-21):LES 与 MiniCPM-V 4.7 相关帖子 https://x.com/OpenBMB/status/2112891661210861578
本内容由 AI 生成,仅供参考,请注意甄别