Janas：从 SSD 流式加载专家参数，运行超出内存容量的大模型

Janas 是一个通过 SSD 流式读取专家参数的开源推理实验，目标是让模型文件大于系统内存时仍可运行，关注价值在于探索消费级硬件运行 MoE 模型的工程路径。Janas GitHub 仓库于 2026-10-13 展示的测试显示：

• 在 32GB 内存、NVMe SSD 和集成显卡的笔记本上，Qwen3-Next-80B-A3B 可运行，仓库记录的生成速度为 24 tok/s，启用草稿机制时为 37 tok/s。
• 系统将专家权重保留在磁盘，并把频繁使用的专家缓存到内存。
• 仓库明确说明项目仍处于早期开发阶段，接口变化频繁，硬件兼容性尚未充分验证。
• 测试主要来自单台设备，作者也提醒不同处理器、显卡、磁盘和内存容量会产生不同结果。
• 影响/看点：该方案可能降低超内存模型的本地运行门槛，但磁盘带宽、缓存命中率和系统稳定性会直接限制体验，不能据此推导出普遍性能。资料依据:
• Janas GitHub 仓库（2026-10-13）：https://github.com/prabanta-dev/janas

本内容由 AI 生成，仅供参考，请注意甄别