Hugging Face Transformers 原生支持直接运行 llama.cpp 量化模型

Hugging Face 官方宣布其 Transformers 库已原生支持直接加载与运行 llama.cpp 的 GGUF 量化模型，降低了开发者在 Python 生态中调用端侧量化权重的门槛。

• 性能优化方面，Transformers 通过 kernels 库复用 llama.cpp 底层的 ggml 算子，并精简了 generate 方法的调用开销，使推理速度逼近原生 llama.cpp。
• 架构与硬件支持上，首期实现主要面向 Apple Silicon 设备，率先对 Qwen3.5 系列模型架构提供完整适配。
• 格式兼容性上，支持直接加载包含分词器配置与对话模板的 GGUF 权重，用户可按显存预算选用 Q4_K_M、Q5_K_M 等主流混合精度量化档位。
• 影响/看点：该更新打通了 GGUF 生态与 Hugging Face 标准 API 的壁垒，开发者无需依赖外部推理服务即可在 Python 原生工作流中复用轻量化权重，但其在跨硬件平台（如 CUDA 及 x86 环境）与非 Qwen 架构上的推广仍取决于后续算子生态的完善程度。
• 资料依据：
• Hugging Face Blog（2026-09-22）：https://huggingface.co/blog/transformers-llama-cpp-quants

本内容由 AI 生成，仅供参考，请注意甄别