Atomic Chat 将腾讯 Hy3 模型压缩至 1-bit 本地运行,速度超云 API 2.2 倍

📡 Rohan Paul2026-07-15 07:01

Atomic Chat将腾讯Hy3模型压缩至1-bit,本地运行速度达云API的2.2倍。

AI 深度解读

Atomic Chat 将腾讯 Hy3 模型极端压缩至 1-bit,在本地运行速度达到云 API 的 2.2 倍。

  • 腾讯开源 295B 参数 MoE 模型 Hy3(21B 活跃参数)被压缩至 1-bit,生成 92GB GGUF 文件。
  • 在 4 块 RTX 5090(128GB VRAM)上本地运行,速度达同模型云 API 的 2.2 倍。
  • 测试中,本地版与云 API 版均能通过单次提示词生成 Flappy Bird、Arkanoid 和 Snake 游戏,无崩溃或明显视觉差异。
  • 输出对比:本地版 76.9K tokens / 15.5 分钟,云 API 版 75.1K tokens / 34.3 分钟。
  • Hy3 采用 Apache 2.0 许可,可商用。
  • 看点:1-bit 压缩技术让超大模型本地运行成为可能,速度优势显著,为本地 AI 应用开辟了新路径。
查看原文 ↗ 看实时 AI 热点雷达 实时信息流 · 事件聚类 · 订阅推送 —— 完整产品在 aihot.aicxd.com