Nvidia Groq 3 LPU芯片英偉達周一宣佈，其Groq 3 LPX機架已全面投產，標誌着公司史上最大規模收購所涉及技術的商業化正式落地。
英偉達高級總監Dion Harris表示，Groq機架將部署在Neocloud Nebius平台上，與Vera中央處理器和Rubin圖形處理器協同工作，並將在今年晚些時候上線。
英偉達加緊製造Groq芯片並推向客戶，凸顯了低延遲推理日益增長的重要性——這是讓AI智能體響應迅速、避免用戶長時間等待的關鍵，尤其在編程場景中尤為重要。英偉達表示，雲服務商可以為此類token收取更高費用。
Harris在電話會議中稱：「對於提供token服務的廠商來說，這為他們提供了向那些對延遲最敏感的客戶提供優質服務層級的可能，以滿足相應的服務等級協議。」
去年12月，英偉達以200億美元收購了芯片初創公司Groq的資產，這是公司迄今最大的一筆收購。
Groq架構在芯片裸片上集成了500兆字節的高速SRAM，以減少內存瓶頸。Groq芯片由三星代工，而英偉達的GPU則由台積電製造。
英偉達將256個獨立的Groq 3芯片封裝在LPX機架中。根據Artificial Analysis的基準測試，英偉達稱其Groq 3 LPX機架可提供每秒3400個token的吞吐量。
這是一個競爭激烈的領域。較小的GPU製造商AMD今年早些時候宣佈，將把其機架級系統與近期上市的Cerebras芯片集成，同樣聚焦低延遲推理。OpenAI新近宣佈的「超快模式」目前承諾每秒750個token，且「由Cerebras提供支持」。
低延遲芯片並不會取代GPU——GPU是AI芯片的主力，既可進行訓練也可進行推理，且足夠靈活以適應新技術和新模型。像Groq這樣的低延遲芯片主要專注於模型服務中的一個環節，即「解碼」階段。
Harris表示：「這不是要取代GPU，而是要在合適的負載部分使用合適價格、合適的處理器。」
英偉達目前正在加快Vera Rubin系統的出貨，該系統已於今年早些時候投產。在3月Vera Rubin和Groq 3 LPX的發布會上，英偉達CEO黃仁勳預計，從當前一代Blackwell芯片到新的Vera Rubin系統，到2027年的累計銷售額將達到1萬億美元。
黃仁勳當時表示，他將在專用於編程應用的數據中心空間中，劃出四分之一分配給Groq芯片。
黃仁勳說：「我數據中心的其餘部分將全部使用Vera Rubin。」
英偉達將於周三公布財報。
責任編輯：李桐