Marvell正通過更大容量、更高帶寬的內存擴展方案,瞄準AI推理基礎設施升級帶來的需求增長。
據彭博報道,10月12日,Marvell正式發布第二代Structera X 3406和3506 CXL內存擴展器。公司稱,這是業界首款六通道CXL 3.2內存擴展器,單控制器最高支持9TB DDR4或6TB DDR5內存,內存通道數量較上一代增加50%。兩款產品預計於2027年第一季度開始向客戶提供樣品。
此次發布旨在應對AI推理工作負載日益突出的內存瓶頸。隨着大型語言模型(LLM)規模擴大、上下文窗口延長以及KV緩存需求快速增長,傳統服務器架構的內存容量與帶寬正面臨更大壓力,內存逐漸成為制約AI性能和基礎設施效率的關鍵因素。
AMD、Arm、阿里巴巴、三星和SK海力士等企業均對新產品及相關生態合作表示支持。
核心技術升級:更多通道,更大容量
Structera X 3406和3506在上一代產品基礎上實現了內存通道、擴展容量及壓縮性能等方面的升級。
在內存配置方面,兩款產品均支持六通道內存。其中,3406支持18個DDR4 RDIMM插槽,最高容量達9TB;3506支持12個DDR5 RDIMM插槽,最高容量為6TB。在主機互聯方面,兩款產品均支持最多四台主機共享內存資源,主機互聯帶寬最高可達256GB/s,採用PCIe 6.0 x16接口。
在壓縮性能方面,新產品內置LZ4壓縮引擎,壓縮和解壓縮吞吐量最高達250GB/s,較上一代提升5倍,可將有效內存容量擴大至原來的2至3倍。
Marvell表示,在大型語言模型推理場景中,新產品可在相同上下文長度下,將首字節響應時間(TTFT)縮短40%至50%;在深度學習推薦模型(DLRM)場景中,單控制器每秒查詢量最高可提升至原來的2倍,嵌入表有效容量則可擴大至原來的2至3倍。
瞄準超大規模數據中心,生態合作持續擴展
Marvell表示,第二代Structera X沿用已向超大規模數據中心客戶出貨的第一代2404/2504產品的軟件棧和生態集成方案,旨在加快新產品的客戶導入進程。
多家行業夥伴公開表達了支持。AMD企業副總裁Raghu Nambiar表示,雙方的合作依託EPYC處理器的性能與可擴展性,幫助企業在AI和數據密集型應用需求增長的背景下擴展內存容量、提高資源利用效率。
Arm雲端AI go-to-market副總裁Eddie Ramirez表示,Structera X將CXL 3.2、內存擴展和壓縮能力引入Arm生態,為超大規模數據中心高效運行復雜AI工作負載提供更多選擇。
三星電子內存產品規劃副總裁Jangseok Choi和SK海力士下一代產品規劃與使能負責人Uksong Kang則表示,雙方已分別與Marvell完成Structera產品與各自DDR內存的驗證。
完善CXL產品組合,佈局內存池化與分解架構
Marvell客製化雲端解決方案執行副總裁兼總經理Will Chu表示,公司是業內唯一提供完整端到端CXL產品組合的供應商,產品覆蓋多個層級:用於內存擴展的Structera X、用於近內存加速的Structera A,以及面向機櫃級CXL內存共享的PFMA(Photonic Fabric™ Memory Appliance),覆蓋從直連內存擴展到內存池化與分解的不同應用場景。
市場研究機構Objective Analysis總經理Jim Handy指出,CXL正逐步應用於AI系統,其高帶寬、大容量特性有望帶來顯著收益。他還表示,在內存供應緊張、價格高企的背景下,IT管理者正考慮利用CXL在DDR5系統中複用DDR4內存模組,以降低成本;具備內存壓縮功能的控制器則有望進一步增強這類方案的吸引力。
Structera X 3406和3506將於10月12日至15日在加州聖何塞舉行的OCP全球峰會上亮相,正式樣品預計於2027年第一季度推出。