面壁解析 LES 调度技术:MiniCPM-V 4.7 在 iPhone 上跑出 20.51 tokens/s

📡 面壁智能 OpenBMB2026-10-21 21:00

面壁解析LES调度技术,解决MoE专家权重加载等待,使35B的MiniCPM-V 4.7在iPhone上达20.51 tokens/s。

AI 深度解读

面壁智能官方账号发布了关于 LES 推理技术的介绍,称 MiniCPM-V 4.7 在 iPhone 上达到每秒 20.51 个 token,关注价值在于它针对端侧 MoE 模型的内存与专家权重调度问题提出了工程化方案。

  • 帖子将 LES 解释为 Lookahead Expert Scheduling,用于减少专家权重加载造成的等待。
  • 其目标场景是总参数量较大、单次激活参数较少的 MoE 模型在有限内存设备上的运行。
  • 20.51 tokens/s 是特定设备、模型配置和测试任务下的指标,不能单独代表整体响应延迟或能耗表现。
  • 端侧速度还会受到首 token 延迟、上下文长度、量化方式、内存占用和持续运行温度的影响。
  • 影响/看点:若该调度方法能在不同 iPhone 型号和多类输入上保持收益,端侧多模态模型的可用范围可能扩大;成立条件是官方披露完整基准,并同时报告质量、能耗和长时间运行稳定性。
  • 资料依据:
  • 面壁智能 OpenBMB(2026-10-21):LES 与 MiniCPM-V 4.7 相关帖子 https://x.com/OpenBMB/status/2112891661210861578

本内容由 AI 生成,仅供参考,请注意甄别

查看原文 ↗
看实时 AI 热点雷达 实时信息流 · 事件聚类 · 订阅推送 —— 完整产品在 aihot.aicxd.com →
AI 助手