智通財經APP獲悉，英偉達(NVDA.US)周一宣佈，Groq 3 LPX機架級系統已經進入全面量產階段，標誌着公司去年斥資約200億美元收購Groq相關資產後，這項低延遲AI推理技術正式進入商業化落地階段。首批系統將部署於AI雲計算服務商NEBIUS(NBIS.US)，並計劃於今年晚些時候上線。

英偉達高級總監Dion Harris向媒體表示，Groq 3 LPX將與英偉達Vera中央處理器和Rubin圖形處理器共同部署在Nebius的數據中心。

此次Groq產品快速實現量產，反映出隨着AI應用從模型訓練進一步轉向實際部署，低延遲AI推理正成為英偉達重點爭奪的新市場。尤其是在AI智能體和AI編程等應用中，模型需要以更快速度持續生成內容，減少用戶等待時間。

英偉達於去年12月斥資約200億美元收購AI芯片初創公司Groq的相關資產，成為公司歷史上規模最大的收購交易。

Groq芯片架構的一大特點是在芯片內部集成500MB高速SRAM，以減少傳統內存訪問可能造成的數據傳輸瓶頸，從而提高AI模型推理過程中的響應速度。

與英偉達主要GPU由台積電(TSM.US)生產不同，Groq芯片由三星負責製造。

英偉達目前將256顆Groq 3芯片集成至一個LPX機架中。根據英偉達引用Artificial Analysis的基準測試數據，Groq 3 LPX系統能夠實現每秒生成約3400個token的性能。

對於生成式AI而言，token可以理解為模型處理和生成文本的基本單位。更高的每秒token生成速度意味着AI能夠更快響應用戶請求，對於AI編程、實時智能體等對延遲高度敏感的應用尤其重要。

Harris表示，對於提供AI推理服務的雲計算企業而言，更低的延遲意味着它們能夠向對響應速度要求更高的客戶提供價格更高的高級服務。

不過，Groq芯片並不是為了取代英偉達傳統GPU。

GPU仍然是當前AI計算基礎設施的核心，不僅能夠進行AI模型訓練，也能夠執行推理任務，同時擁有更強的通用性，可以適應不同模型和技術架構。

Groq這類低延遲芯片則更加專注於AI推理過程中的特定環節，尤其是模型生成內容時的「解碼」階段。

Harris表示：「這並不是要取代GPU，而是針對工作負載的不同部分，使用價格和性能最合適的處理器。」

這意味着英偉達正在嘗試建立更加細分的AI計算架構：Vera CPU和Rubin GPU繼續承擔更廣泛的AI計算任務，而Groq芯片則針對延遲高度敏感的推理工作負載進行優化。

隨着AI行業逐漸從大規模模型訓練進入推理需求快速增長階段，低延遲推理市場的競爭正在升溫。

AMD(AMD.US)今年早些時候宣佈，將其機架級AI系統與Cerebras(CBRS.US)芯片進行整合，同樣重點瞄準低延遲AI推理。

這一領域的重要性正在隨着AI編程等應用普及進一步提高。報道提到，OpenAI最新公布的Ultrafast模式承諾達到每秒750個token，並由Cerebras提供底層算力支持。

相比之下，英偉達引用的基準測試數據顯示，Groq 3 LPX能夠達到每秒3400個token。不過，不同系統的測試條件和應用場景可能存在差異，因此這些數字並不能簡單視為直接的性能對比。

與此同時，英偉達正在加快Vera Rubin系統的出貨，該平台已於今年早些時候進入生產階段。

英偉達CEO黃仁勳今年3月在發布Vera Rubin和Groq 3 LPX時曾預計，從目前的Blackwell芯片到新一代Vera Rubin系統，截至2027年的累計銷售額可能達到1萬億美元。

黃仁勳當時還透露，在專門用於AI編程應用的數據中心空間中，他計劃將約四分之一配置給Groq芯片，其餘部分則全部部署Vera Rubin系統。

這一配置比例進一步顯示出英偉達對低延遲推理市場的重視。隨着AI智能體、AI編程以及實時生成式AI應用快速發展，推理速度正在成為雲計算企業和AI開發商競爭的重要指標。

Groq 3 LPX正式進入全面量產，也意味着英偉達正在從以GPU為核心的AI芯片供應商，進一步擴展至針對不同AI工作負載提供專用計算架構。

市場接下來還將關注英偉達最新業績表現。公司將於本周三公布財報，除Blackwell和Vera Rubin需求之外，AI推理業務以及Groq商業化進展也可能成為投資者關注的新焦點。