Mini-AGI开源：支持8GB显存训练的动态持续学习模型

开源项目 Mini-AGI 发布了可在 8GB 显存消费级设备上运行的字节级混合专家模型，展示了在单批次流式数据输入下实现低硬件开销持续学习的机制。

• 主干降速抑制遗忘：实证测试表明，将承载主要梯度的模型主干网络学习率设定为专家层的十分之一，在经历连续长文本单一主题训练后，其他未学习领域的知识保留率达到 99.84%。
• 分级缓存与动态拓扑：采用显存、内存与磁盘的三级分页调度机制，仅保留 32 个活跃专家驻留显存，模型规模可随训练进程自动重组新增或修剪冗余专家。
• 原生字节架构与弹性计算：模型直接处理 256 个字节数值而无需分词器，配合自适应深度机制，允许用户直接将本地文件目录作为训练流进行增量学习。
• 影响/看点：该方案若能在更大参数规模和复杂推理任务中验证其有效性，意味着个人端侧设备可能具备无需全量重训即可持续吸纳私域知识的可行路径。
• 资料依据:
• GitHub开源项目仓库（2026-09-21）：https://github.com/volotat/mini-AGI/
• Hacker News（2026-09-21）：https://news.ycombinator.com/item?id=45321087

本内容由 AI 生成，仅供参考，请注意甄别