腾讯混元发布Hy3模型1-bit/4-bit量化版,单GPU可运行

📡 腾讯混元2026-07-14 16:53

腾讯混元发布Hy3模型1-bit和4-bit量化版,单GPU即可运行,采用Apache 2.0开源协议。

AI 深度解读

腾讯混元将旗舰级 295B MoE 模型 Hy3 量化至 1-bit 和 4-bit,使单 GPU 即可运行,大幅降低部署门槛。

  • 1-bit 量化版将权重从 598GB 压缩至 85.5GiB,一张 96GB 推理显卡即可部署,适合硬件受限场景。
  • 4-bit 量化版体积 169.9GiB,两张显卡即可承载,效果接近满血模型,适合有限资源下追求性能。
  • 量化版通过 llama.cpp 运行并支持 MTP 投机解码,1-bit 版解码速度提升约 50%,4-bit 版提升近 60%。
  • 模型采用 Apache 2.0 开源协议,支持商用,并提供 2 周免费 API(通过 OpenRouter)。
  • 影响/看点:Hy3 量化版让旗舰级模型从多卡集群走向单卡本地,极大降低了部署成本,有望推动更多开发者和企业在本地运行高性能模型。
查看原文 ↗ 看实时 AI 热点雷达 实时信息流 · 事件聚类 · 订阅推送 —— 完整产品在 aihot.aicxd.com