英伟达发布Nemotron 3 Embed开源嵌入模型,8B版本登顶RTEB榜首
英伟达开源Nemotron 3 Embed嵌入模型系列,8B版本登顶RTEB检索榜首,面向RAG与智能体检索。
AI 深度解读
英伟达发布Nemotron 3 Embed系列开源嵌入模型,其中8B版本在检索评测榜单RTEB上排名第一,面向RAG、智能体检索、代码检索与智能体记忆等生产级场景,是嵌入模型这个“决定AI能看到什么”的底层组件的一次更新。
- 系列含三个开源模型:8B精度优先版、1B同架构轻量版,以及针对Blackwell架构优化的1B四比特(NVFP4)版本
- 均为双向注意力的Transformer编码器,最长支持32768 token上下文,覆盖34种语言评测
- 底座模型是Mistral系的Ministral-3,而非常见的自研架构,8B用Ministral-3-8B-Instruct,两个1B版本用Ministral-3-3B-Instruct
- 1B版本并非重新训练得来,而是从3B教师模型经神经架构搜索剪枝到2B、再蒸馏压缩到1.14B,相比上一代同尺寸模型RTEB提升超过10分
- 四比特量化版本相对同架构BF16版本仅损失0.38分RTEB,精度保留约99.5%
- 对做检索增强生成和智能体记忆系统的团队来说,这提供了一个开源、可在小显存部署、又兼顾中英多语言检索精度的新基座选项。