英伟达发布 Nemotron 3 说话人分离模型，错误率为 9.8%

英伟达于 9 月 23 日发布了 Nemotron 3 Diarization。这是一款开放权重模型，旨在实时音频处理中准确追踪每位说话人的发言。该模型解决了多说话人环境中的说话人识别和时间定位难题。英伟达根据 OpenMDW 1.1 许可证发布了该模型，用户可在 Hugging Face 上以及通过该公司的 NeMo 框架免费获取；借助部分推理服务商进行部署时，成本低至每音频小时 0.01 美元。

英伟达 Nemotron 3 以 10 毫秒分辨率处理八位说话人

Nemotron 3 采用英伟达的 Streaming Sortformer 架构，参数量约为 1 亿。该模型可同时处理最多八位说话人，并以 10 毫秒的分辨率生成说话人活动概率。该系统同时支持流式和离线模式，其中流式模式支持可配置的延迟，最低延迟约为 320 毫秒。

该模型采用结合英伟达到达顺序说话人缓存（AOSC）的单阶段端到端设计。传统的说话人分离流程需要多个阶段，包括音频分段、说话人嵌入提取和聚类。Nemotron 3 将这些阶段整合为单次前向传播。该模型根据说话人在对话中首次出现的顺序分配说话人标签。

Nemotron 3 在 AISHELL-4 基准测试中实现 9.8% 的错误率

在使用低延迟配置的 AISHELL-4 基准测试中，Nemotron 3 的说话人分离错误率为 9.8%。其前代模型 Streaming Sortformer v2.1 于 2025 年 7 月发布，在同一测试中的错误率为 27.2%。说话人分离错误率衡量的是说话人被错误归属、遗漏或误检测的时间比例。

上一代模型的正式名称为 diar_streaming_sortformer_4spk-v2.1，支持四位说话人。Nemotron 3 将这一上限提升至八位说话人，从而支持小组讨论、群组通话和多方会议等使用场景。

英伟达将 Nemotron 3 定位于会议转录和通话分析

Nemotron 3 Diarization 是英伟达智能体式 AI 和语音识别模型系列的一部分，旨在为语音驱动应用打造完整技术栈。目标使用场景包括会议转录、呼叫中心分析和播客制作。英伟达根据 OpenMDW 1.1 许可证开放了模型权重，并通过与 MLX 和 FluidAudio 的合作实现了早期集成。

该模型可通过包括 Baseten 和 DeepInfra 在内的推理服务商使用。通过某些推理服务商，每音频小时 0.01 美元的价格意味着，处理完整 8 小时工作日的会议音频，成本约为 8 美分。

常见问题

英伟达 Nemotron 3 Diarization 能做什么？
Nemotron 3 Diarization 是一款开放权重模型，可在实时音频处理中追踪每位说话人的发言。该模型于 9 月 23 日根据英伟达的 OpenMDW 1.1 许可证发布，能够以 10 毫秒的分辨率同时处理最多八位说话人，并支持流式和离线模式，最低延迟约为 320 毫秒。

Nemotron 3 的性能与其前代模型相比如何？
在使用低延迟配置的 AISHELL-4 基准测试中，Nemotron 3 的说话人分离错误率为 9.8%，而其于 2025 年 7 月发布的前代模型 Streaming Sortformer v2.1 为 27.2%。新模型还将说话人容量从四位提升至八位。

部署英伟达 Nemotron 3 Diarization 的成本是多少？
通过部分推理服务商，在某些配置下部署成本低至每音频小时 0.01 美元。按这一价格处理完整 8 小时工作日的会议音频，成本约为 8 美分。