苹果在 Mac Studio 上用 MLX 与 RDMA 实现本地与分布式大模型推理

苹果机器学习研究团队发布文章，展示如何借助 MLX、Apple silicon 统一内存和 Thunderbolt 5 上的 RDMA，在 Mac Studio 集群运行超大规模模型，关注价值在于本地推理的硬件边界被进一步拓展。

• 文章称，Muse Spark Open 总参数约 8160 亿，四台 Mac Studio 集群可实现每秒超过 36 个 token 的生成速度。
• 两台设备可采用流水线并行，将模型不同层分布到不同机器；张量并行则进一步拆分每层计算。
• MLX 0.30.1 及后续版本通过 jaccl 通信集合支持 RDMA over Thunderbolt，降低多机通信开销。
• 该方案依赖 M5 Ultra、单机最高 512GB 统一内存以及高速 Thunderbolt 连接，硬件成本和部署复杂度仍是边界。
• 影响/看点：如果软件优化和多机互联效率能够在更多模型上复现，Mac 设备可能成为部分研究者进行私有大模型实验的补充平台，但不能据此推断其普遍替代数据中心集群。
• 资料依据:
• Apple Machine Learning Research（2026-10-15）：https://machinelearning.apple.com/research/mlx-distributed-inference
• Meta AI Research（2026-10-15）：https://research.meta.ai/blog/muse-spark-open

本内容由 AI 生成，仅供参考，请注意甄别