Atomic Chat 将腾讯 Hy3 模型压缩至 1-bit 本地运行,速度超云 API 2.2 倍
Atomic Chat将腾讯Hy3模型压缩至1-bit,本地运行速度达云API的2.2倍。
AI 深度解读
Atomic Chat 将腾讯 Hy3 模型极端压缩至 1-bit,在本地运行速度达到云 API 的 2.2 倍。
- 腾讯开源 295B 参数 MoE 模型 Hy3(21B 活跃参数)被压缩至 1-bit,生成 92GB GGUF 文件。
- 在 4 块 RTX 5090(128GB VRAM)上本地运行,速度达同模型云 API 的 2.2 倍。
- 测试中,本地版与云 API 版均能通过单次提示词生成 Flappy Bird、Arkanoid 和 Snake 游戏,无崩溃或明显视觉差异。
- 输出对比:本地版 76.9K tokens / 15.5 分钟,云 API 版 75.1K tokens / 34.3 分钟。
- Hy3 采用 Apache 2.0 许可,可商用。
- 看点:1-bit 压缩技术让超大模型本地运行成为可能,速度优势显著,为本地 AI 应用开辟了新路径。