llama.cpp v0.7.0 发布，支持 128GB Mac 与 Spark

llama.cpp 作者 Georgi Gerganov 展示了 v0.7.0 在 128GB Mac 与 Spark 环境中运行 Qwen3.8-Flash-Next-GGUF 的命令，关注价值在于本地推理的重点从单纯模型体积扩展到内存容量、量化格式和推测解码协同。

• 示例使用 llama serve 加载 GGUF 模型，并启用 draft-mtp 推测解码。
• 命令还启用了 lazy mode，说明运行时可能会按需处理部分资源，而不是一次性完成全部加载。
• 128GB 统一内存设备能够容纳更大的量化模型，但实际速度仍受模型结构、上下文长度、内存带宽和后端实现影响。
• 推测解码通常依赖草稿模型或草稿路径，能否提高吞吐量取决于草稿与目标模型之间的接受率。
• 单条命令展示的是可运行配置，不足以证明所有 128GB Mac 或 Spark 都达到相同性能。
• 影响/看点：若该版本能在更多 Apple Silicon 与 Spark 配置上稳定运行，个人和小团队部署较大模型的硬件门槛可能下降；成立条件是具体模型、量化等级、上下文设置和基准测试结果能够公开复现。
• 资料依据:
• Georgi Gerganov（2026-10-16）：https://x.com/ggerganov/status/2111146995003924576
• llama.cpp 官方 GitHub 仓库（2026-10-16）：https://github.com/ggml-org/llama.cpp

本内容由 AI 生成，仅供参考，请注意甄别