苹果机器学习研究：在 Mac Studio 上用 MLX 分布式运行 Muse Spark Open

Apple机器学习研究团队介绍了使用MLX和Thunderbolt 5 RDMA，在多台Mac Studio上分布式运行Muse Spark Open的方法；其关注价值在于展示本地设备运行超大模型时，软件并行和高速互联的组合路径。

• Apple页面日期为2026年10月15日，测试使用M5 Ultra Mac Studio，并比较了单机、流水线并行和张量并行。
• Muse Spark Open总参数为8160亿、激活参数420亿，采用NVFP4量化后仍约需493GB模型内存，因此不能在单台512GB设备上完成完整部署。
• 四台Mac Studio在页面测试中达到每秒36.73个生成token，但结果依赖模型、量化精度、上下文长度和网络拓扑。
• 页面同时指出，张量并行会增加通信开销，模型规模和上下文变化可能改变并行收益。
• 影响/看点：该方案可能拓展本地大模型实验和隐私部署场景，但设备采购、功耗、互联配置和软件适配仍构成使用门槛。
• 资料依据:
• Apple Machine Learning Research（2026-10-15）：https://machinelearning.apple.com/research/mlx-distributed-inference
• MLX Distributed Documentation（2026-10-15）：https://ml-explore.github.io/mlx/build/html/usage/distributed.html

本内容由 AI 生成，仅供参考，请注意甄别