[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"aihot-art-83387":3},{"itemId":4,"vertical":5,"category":6,"source":7,"score":8,"title":9,"summary":10,"analysis":11,"url":12,"coverUrl":13,"direction":13,"marketSignal":13,"publishedAt":14},"83387","ai","模型发布\u002F更新","IT之家",70,"腾讯混元发布1bit与4bit量化版Hy3模型，旗舰AI模型可单卡本地运行","腾讯混元发布Hy3模型量化版，1-bit可塞进单卡，4bit接近满血，支持单卡本地运行。","腾讯混元发布 Hy3 模型的 1-bit 与 4-bit 量化版，使 295B 参数的旗舰模型可在单卡或双卡上本地运行。\n· 1-bit 极限量化版 IQ1_M 将权重从 598GB 压缩至 85.5GiB，一张 96GB 推理显卡即可部署。\n· 4-bit 量化版 Q4_K_M 体积 169.9GiB，两张推理显卡即可承载，效果接近 BF16 满血模型。\n· 量化版在主流任务上表现稳健：1-bit 版长文理解几乎持平原始模型，Agent 与代码方向保持良好；4-bit 版在 Agent、多语言代码、工具调用等任务上贴近满血模型。\n· 团队开发了 llama.cpp 的 patch 以支持 MTP 投机解码，开启后 1-bit 版解码速度提升约 50%，4-bit 版提升近 60%。\n影响\u002F看点：Hy3 量化版让旗舰级模型从多卡集群走向单卡本地，极大降低了部署成本，有望推动更多开发者和企业在本地运行高性能模型。","https:\u002F\u002Fwww.ithome.com\u002F0\u002F976\u002F642.htm",null,"2026-07-14 17:39:02"]