个人开发者用 AI 十天写出 Strata 引擎，12GB 显存跑起 1250 亿参数模型

一篇由 Saito 在 X 上介绍的复盘称，Strata 引擎通过专家缓存和 CPU 分工，让 12GB 显存运行 1250 亿参数的 Qwen 3.8 Flash Next，关注价值在于它展示了混合内存和稀疏专家模型在本地推理中的工程取舍。

• 这类方案并不意味着完整模型全部装入显存，而是利用稀疏激活和 CPU 内存分担计算或缓存。
• 帖文称其 prompt 读取和生成速度较 llama.cpp 更快，但性能比较依赖版本、硬件、上下文长度和测试任务。
• 压缩版在部分高难度测试中保留较高分数，同时可能因专家缓存产生输出偏差。
• 64GB 内存门槛和本地部署维护成本，可能削弱其相对 API 服务的经济优势。
• 影响/看点：该项目可能扩大个人设备运行大模型的可行范围，但实际适用性取决于内存容量、任务稳定性、长上下文表现和可复现实测结果。资料依据:
• X：Saito 硬地骇客（2026-10-21）：https://x.com/SaitoWu/status/2112842663913468041

本内容由 AI 生成，仅供参考，请注意甄别