NVIDIA 发布 Nemotron 3 Embed 系列，8B 版本登顶 RTEB 检索基准

一句话看懂：NVIDIA 推出了专为检索增强生成（RAG）场景设计的 Nemotron 3 Embed 系列嵌入向量模型，其中 8B 版本在 RTEB 检索基准上排名第一。该系列还包含了两个针对不同部署场景优化的 1B 参数版本，展示了将大模型压缩为高效嵌入模型的新路径。

事件核心：发生了什么

NVIDIA 于 2026 年 7 月 17 日发布了 Nemotron-3-Embed 系列，包含三个版本：8B-BF16（高精度）、1B-BF16（轻量）、以及针对 Blackwell 架构优化的 1B-NVFP4（4 位版本）。所有版本均基于 Mistral 架构（8B 源自 Ministral-3-8B，1B 源自 Ministral-3-3B），采用 Transformer 编码器与双向注意力掩码，支持 34 种语言和 32,768 tokens 的上下文长度。在 RTEB 基准的 16 个公开任务中，8B-BF16 以平均 NDCG@10 得分 78.46 夺冠；1B-NVFP4 版本在 Blackwell 上仅损失 0.38 分，但吞吐量是 BF16 的两倍。

1B 模型并非从头训练，而是通过 ModelOpt 工具将 3B 基础模型剪枝至 2B，再以 8B 嵌入模型为教师进行知识蒸馏，最终压缩至 1.14B 参数。NVFP4 版本进一步采用量化感知蒸馏，在长文本输入下几乎无损恢复精度。部署上，8B 和 1B 的 BF16 版本支持 Transformers 和 Sentence Transformers，而 NVFP4 版本仅支持 vLLM 接口。

为什么重要

该系列的意义在于两点。一是将 RAG 场景的嵌入模型性能推向新高度，8B 版本在公开基准上领先，直接为生产级检索提供更强基座。二是展示了“大模型压缩为小嵌入模型”的可行路线，而不是简单缩小训练规模。NVIDIA 通过剪枝、蒸馏和量化三步走，在保持高精度的同时大幅降低部署成本，这为算力受限的开发者提供了明确的优化路径。此外，该系列以 OpenMDW-1.1 许可证开源，与 Mistral 生态兼容，有望吸引更多社区在 RAG、代码检索和智能体记忆等场景中采用。

对用户/开发者/创作者的影响

对于开发者，如果正在构建基于 RAG 的企业搜索或客服系统，Nemotron 3 Embed 系列提供了一个可直接替换的开源选项。特别是 1B-NVFP4 版本，在保持 99.5% 精度的前提下，适合在 Blackwell 架构的 GPU 上进行高吞吐、低成本部署。NVIDIA 建议的成本优化策略是“1B-NVFP4 负责高容量召回，8B 负责困难查询”的分层 RAG 架构。对于创作者和使用 AI 写作/编程工具的团队，该系列支持 34 种语言的多语言检索和代码检索，意味着跨语言文档匹配和代码库查询的准确性可能得到提升。所有用户需注意：查询和文档输入必须分别加前缀 `query:` 和 `passage:`，且输出的嵌入向量需进行 L2 归一化后才可用于点积相似度计算。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

首先，该系列与 Mistral 架构深度绑定，如果 Mistral 后续版本有更新，NVIDIA 是否会推出基于新架构的嵌入模型？其次，1B-NVFP4 版本仅支持 vLLM 接口，这对非 vLLM 用户构成壁垒，社区是否会开发第三方适配？最后，目前公开信息显示 RTEB 基准测试权威性尚待验证，未来是否有更多独立评测机构复现其排名，将影响实际选型信心。

来源：AIbase