英伟达于当地时间本周一宣布，Groq 3 LPX机架已进入全面生产阶段，这标志着公司历史上规模最大收购所取得技术的首度商用化。英伟达高级总监迪翁·哈里斯（Dion Harris）表示，Groq机架将与Vera中央处理器和Rubin图形处理器联手，部署在新兴云服务供应商Nebius的平台，并计划在今年晚些时候正式上线。公司正在加速生产Groq芯片并向客户提供此产品，这显示低延迟推理对提高人工智能系统响应速度的重要性日益显著。尤其在编程场景中，快速响应减少用户等待时间至关重要。英伟达指出，云计算服务商能够为何种Token提供更高的收费标准。哈里斯进一步提到：“对于那些提供Token服务的供应商而言，这使他们能够为高度敏感于延迟的用户和客户提供优质的服务等级。”去年的12月，英伟达收购了芯片初创公司Groq的资产，交易金额高达200亿美元（现汇率约合1,347.74亿元人民币），这一金额创下了公司的收购记录。Groq的架构通过在芯片裸片中集成500MB高速SRAM，以此减小与内存的瓶颈问题。Groq芯片由三星制造，而英伟达的GPU则由台积电负责生产。英伟达将在其LPX机架中集成256颗独立的Groq 3芯片，并提到，根据Artificial Analysis的一项基准测试，这款Groq 3 LPX机架的处理速度可达到每秒3,400个Token。当前竞争异常激烈，今年早些时候，AMD宣布将与Cerebras的芯片整合其机架级系统，而Cerebras刚刚上市，并同样将低延迟推理作为技术重点。OpenAI近期宣布的“Ultrafast”模式承诺每秒处理750个Token，并由Cerebras提供支持。哈里斯强调，低延迟芯片旨在补充而非取代GPU，后者依然是AI芯片领域的主流，既能执行训练也能完成推理，同时具有适应新技术和模型的灵活性。Groq这样的低延迟芯片主要聚焦于模型服务过程的“解码”环节。哈里斯表示：“我们的目标不是取代GPU，而是根据不同工作负载的需求，采用合适的处理器以实现最佳的性价比。”目前，英伟达正逐步增加Vera Rubin系统的出货量，早在今年年初便已启动生产。哈里斯在3月份提到，预计到2027年，当前一代Blackwell芯片和全新的Vera Rubin系统的累计销售额将达到1万亿美元（现汇率约合6.74万亿元人民币）。哈里斯表示，计划为数据中心中的编程应用分配四分之一的空间给Groq芯片，其余部分则全部使用Vera Rubin。英伟达还计划于当地时间周三发布最新财报。