MicroLLM Lab：在浏览器端直接体验与测试 7 款微型大语言模型

开发者 robss2020 于 2026 年 9 月 28 日开源并上线了 MicroLLM Lab 实验平台，支持用户在浏览器内直接运行与评测多款微型大语言模型，为端侧轻量 AI 提供了直观的测试工具。

• 架构与隐私：基于 WebGPU 接口与 Q4（4-bit）量化方案，模型数据完全缓存在本地 IndexedDB 中运行，无需安装本地运行环境或调用云端 API，保证数据不出本地。
• 支持模型：涵盖 PetitGPT (124.6M)、SmolLM2 (135M/360M)、MiniMind2 (26M/104M)、L20-Edu 及 GPT-2 等 7 款开源模型，权重体积在 15 MB 至 216 MB 之间。
• 评测与对比：内置标准化正则与精确匹配基准套件，支持测量每秒生成 Token 数、首字延迟（TTFT）及客观任务准确率，并提供硬件性能对比。
• 应用定位：重点测试微型模型在毫秒级任务分类、意图识别与垃圾过滤等边缘路由场景的可行性，而非通用知识问答。
• 影响/看点：该项目验证了微型语言模型在浏览器端纯前端运行的可行性，若其分类与轻量任务表现达标，可能推动零云端成本的端侧预处理与智能路由方案落地。
• 资料依据：
• GitHub（2026-09-28）：https://github.com/robss2020/microllm-lab
• MicroLLM Lab（2026-09-28）：https://stateofutopia.com/experiments/microllmlab/

本内容由 AI 生成，仅供参考，请注意甄别