英伟达 Groq 3 LPX 机架在完成 200 亿美元收购后进入量产

Nvidia 周一宣布，其 Groq 3 LPX 机架已全面投入生产，标志着该公司于 12 月以 200 亿美元收购 Groq 资产所获得的技术已实现商业化。据 Nvidia 高级总监 Dion Harris 介绍，该机架将于今年晚些时候与 Vera 中央处理器和 Rubin 图形处理器一同部署在新型云服务商 Nebius。此举凸显了低延迟推理技术日益增长的重要性。这项技术对于让 AI 代理向用户提供及时响应至关重要，尤其是在编码应用中，云服务商可以针对更快的令牌生成速度收取溢价。

Nvidia 将于今年晚些时候在 Nebius 部署 Groq 机架

Nvidia 高级总监 Dion Harris 告诉记者，Groq 机架将于今年晚些时候在 Nebius 上线。Harris 解释说，这项技术让云服务商能够为要求延迟敏感型服务协议的客户提供高级服务层级。“对于那些提供令牌服务的人来说，这让他们能够为那些确实要求最低延迟的用户和客户提供高级服务层级。”Harris 在电话会议上表示。

12 月，Nvidia 以 200 亿美元收购了芯片初创公司 Groq 的资产，这是该公司有记录以来规模最大的一笔收购。Groq 架构在芯片裸片上集成了 500 兆字节的高速 SRAM，以减少与内存相关的瓶颈。Groq 芯片由三星制造，而 Nvidia 的 GPU 则由台积电制造。

Groq 3 LPX 机架每秒可处理 3,400 个令牌

Nvidia 将 256 颗独立的 Groq 3 芯片集成到其 LPX 机架中。Nvidia 表示，其 Groq 3 LPX 机架每秒可处理 3,400 个令牌，并引用了 Artificial Analysis 的基准测试结果。Groq 等低延迟芯片主要专注于模型服务中的一个环节，即“解码”阶段。

“这不是要取代 GPU，”Harris 说。“这是要在工作负载的相应环节，采用价格合适、处理器合适的方案。”低延迟芯片不会取代 GPU。GPU 既能执行训练，也能执行推理，并且足够灵活，能够适应新技术和新模型。

AMD 和 Cerebras 角逐低延迟推理市场

规模较小的 GPU 制造商 AMD 今年早些时候宣布，将把其机架级系统与 Cerebras 的芯片集成。Cerebras 最近已上市，重点关注低延迟推理。OpenAI 新近宣布的 Ultrafast 模式目前承诺每秒传输 750 个令牌，并且“由 Cerebras 提供支持”。

Jensen Huang 预计到 2027 年累计销售额达 1 万亿美元

Nvidia 目前正在加快 Vera Rubin 系统的出货，该系统于今年早些时候开始生产。在 3 月 Vera Rubin 和 Groq 3 LPX 的发布会上，Nvidia 首席执行官 Jensen Huang 预计，到 2027 年，当前一代 Blackwell 芯片与新的 Vera Rubin 系统将实现 1 万亿美元的累计销售额。

Huang 当时表示，他会将用于编码应用的数据中心容量的四分之一分配给 Groq 芯片。“我的数据中心其余部分全部是 Vera Rubin，”Huang 说。Nvidia 将于周三公布财报。

FAQ

Nvidia 的 Groq 3 LPX 机架何时部署？

Nvidia 高级总监 Dion Harris 告诉记者，Groq 机架将于今年晚些时候在新型云服务商 Nebius 上线，并与 Vera 中央处理器和 Rubin 图形处理器一同部署。

Nvidia 花费多少收购 Groq 资产？

12 月，Nvidia 以 200 亿美元收购了芯片初创公司 Groq 的资产，创下该公司有记录以来规模最大的收购。

Groq 3 LPX 机架的性能如何？

Nvidia 表示，其 Groq 3 LPX 机架搭载了 256 颗独立的 Groq 3 芯片，每秒可处理 3,400 个令牌，并引用了 Artificial Analysis 的基准测试结果。