AI算力需求的爆發正將HBM存儲推向架構演進的十字路口。在本屆Hot Chips大會上，三星、美光、SK海力士與英偉達密集披露各自技術路線圖，核心議題高度集中：HBM正從標準化商品走向定製化平台，三維垂直堆疊成為下一代架構的共同方向，而散熱與功耗約束已成為制約擴展的首要瓶頸。

三星提出將HBM基礎底片（base die）從通信層演進為定製化AI平台的三階段路線圖，並披露ZHBM概念——將HBM直接垂直堆疊於XPU之上，目標是將總DRAM功耗較HBM5降低約70%，絕對功耗降幅超過100W，帶寬提升2.3倍以上。與此同時，英偉達披露其實驗室已擁有至少三款RVA23處理器，並完成了CUDA在RISC-V硬件上運行的首次公開演示，展示了第三方定製CPU接入NVLink Fusion生態的具體路徑。

從市場影響看，超大規模雲廠商AI資本支出的持續加速是貫穿本屆大會的核心敘事主線。存儲分析師Jim Handy指出，HBM每片晶圓產出的GB數僅為標準DDR的三分之一，加之過去十餘年行業幾乎沒有大規模新建晶圓廠，新建產能即便在激進時間表下也需約兩年，行業對當前需求衝擊的響應能力嚴重受限。HBM現貨價格已較此前水平上漲約7倍，三星、SK海力士、美光及主要NAND供應商均錄得異常強勁的營收增長。

Handy的分析勾勒出當前存儲市場的核心矛盾。

需求側，幾乎所有主流AI加速器——包括英偉達GPU、谷歌TPU及各類定製硅片——均依賴HBM；連部分網絡組件也開始採用HBM，創造了數年前幾乎不存在的新需求類別。供給側，由於歷史上工藝微縮足以滿足位元增長，DRAM供應商已逾十年未進行大規模產能擴張，短期新建產能幾乎無望。

Handy同時駁斥了"算法效率提升將壓低硬件需求"的常見論斷。他認為，當一項新技術將內存需求降低6倍，超大規模雲廠商的典型反應是用相同預算處理6倍的Token，而非削減資本支出。效率提升改變的是AI基礎設施的生產力，未必減少投入其中的資金總量。

AI基礎設施的擴張同步收緊了NAND與HDD市場。META測試在TLC SSD與HDD之間部署低成本QLC SSD後發現性能改善，促使超大規模數據中心更廣泛地採用SSD；AI基礎設施對HDD需求的拉動也已造成短缺，QLC SSD隨之開始填補新存儲層級甚至替代缺貨HDD，助推NAND進入短缺狀態，鎧俠和閃迪（SNDK）從中受益。

美光HBM設計架構師Ragu從成本與物理極限兩個維度量化了HBM擴展的代價。在典型的包含4個12層HBM堆棧的GPU封裝中，內存硅片總量約為GPU硅片的8倍，意味着系統級封裝中約90%的硅片與內存相關。一個DRAM裸片失效即可影響整個封裝，可靠性挑戰隨堆棧高度增加而顯著加劇。

Ragu引用Meta公布的Llama 3研究數據：約17%的非預期訓練中斷歸因於HBM。這一數據直接揭示了HBM可靠性對大規模AI訓練集群的實質性影響。

散熱問題已上升為首要架構約束。HBM基礎底片是發熱最嚴重的區域之一，熱量從底部產生而散熱裝置位於DRAM堆棧上方，迫使熱量穿越每一層。美光表示，HBM從設計之初就越來越多地圍繞散熱限制展開，局部功率密度和熱點已與總功耗同等重要。

在堆疊極限方面，美光認為16層HBM在技術路徑上可行，但JEDEC討論的20層堆疊仍面臨大量未解難題——TSV密度、功率密度、散熱、機械完整性及製造良率均構成嚴苛約束，而非信號傳輸距離本身（整個堆棧高度仍低於約1毫米）。

從帶寬擴展路徑看，HBM通過極度並行化實現性能躍升：HBM3E每個DRAM裸片有128個Bank，HBM4增至256個；外部接口I/O線路在接口長度（shoreline）基本不變的情況下從約1,000條翻倍至2,000條。HBM由此從HBM1的128 GB/s帶寬與1 GB容量，擴展至HBM4的超過2.8 TB/s帶寬與單顆24 GB以上容量，代價是持續攀升的硅片消耗強度。

美光預期，隨着AI工作負載細分，HBM將從通用產品走向針對特定工作負載的定製化架構，處理器與配對內存將日益協同優化。封裝技術也將從微凸塊（micro-bumps）和熱壓鍵合向個位數微米間距的熔融鍵合（fusion bonding）和混合鍵合（hybrid bonding）演進。

三星的三階段路線圖是本屆大會最具前瞻性的技術披露之一。

第一階段聚焦於將內存控制器從XPU遷移至定製化HBM base die。三星估算，控制器約佔XPU硅片面積的5%至10%，將這部分空間釋放給計算核心有望使性能提升10%至20%。三星表示，大多數客戶正在積極探索這一架構。

第二階段利用定製化HBM base die周圍未使用的邊緣區域（shoreline），通過專用控制器和PHY直接連接第二層內存，預計延遲和帶寬表現將優於基於PCIe的擴展方案，該第二層內存可以是LPDDR甚至HBF。三星認為，隨着上下文窗口和KV緩存擴大，容量的重要性已接近帶寬。

第三階段即ZHBM：取消傳統2.5D中介層，將HBM直接垂直集成於XPU頂部。通過移除橫向PHY/D2D路徑，I/O和TSV結構可遍佈整個芯片投影區域，目標能效約0.5 pJ/bit，總DRAM功耗較HBM5降低約70%，絕對功耗降幅超過100W。不過，當前散熱限制指向約4層堆疊，而非12層或16層，距離工程化落地仍有相當距離。

三星在計算卸載策略上保持克制：散熱限制使得在base die中放置大量密集計算單元並不合理，優先選擇將LLM推理中內存受限的Attention計算卸載至HBM，計算密集型的Prefill和FFN仍保留在XPU。接口策略上，三星目前傾向於專有HBM廠商接口而非UCIe，理由是UCIe面積更大且功耗更高；其散熱路徑塊（Heat Path Block）在覆蓋足夠熱點區域時可將峯值溫度降低35%以上。

ZHBM還要求在小於6微米間距下實現晶圓級集成和混合銅鍵合，DRAM與SoC設計之間長期存在的邊界必須消除，兩者需從設計之初就圍繞佈線、散熱、功率密度和物理互連進行協同設計。

SK海力士的演講聚焦於從12層向16層乃至20層擴展的封裝工程挑戰。

在其16層HBM3E測試芯片中，即便將總堆棧厚度從720微米增至775微米，單個DRAM裸片厚度仍需比12層方案減薄約10%，片間間隙縮小約50%，芯片翹曲控制與間隙填充難度大幅上升。SK海力士指出，HBM4的總厚度775微米已接近當前封裝方法的實際極限，未來擴展不能無限依賴增加封裝高度。

對於混合鍵合，SK海力士認為其在20層左右將變得極具吸引力，但預計HBM4E階段尚不會採用。假設的20層堆疊中，裸片厚度可增加約20%至24%，熱導率提升約35%。即便如此，混合鍵合也無法解決base die局部熱點問題——SK海力士正在開發IHBM，通過在熱點區域上方添加硅散熱塊改善局部散熱，且需從設計初期協同優化，而非後期追加。

SK海力士還判斷，訓練與推理最終可能採用不同的內存架構：訓練需要兼顧高帶寬與高容量，支持堆棧高度持續增加；推理則可能採用較小規模的極高帶寬內存池，將帶寬不敏感數據放置於LPDDR或其他低成本層級。

英偉達的演講標誌着其AI生態系統策略的實質性進展。一年前，將CUDA引入RISC-V面臨的最大障礙是缺乏合適的RVA23硬件；如今，英偉達實驗室已擁有至少三款RVA23處理器，SiFive在Hot Chips大會期間完成了CUDA在RISC-V硬件上運行的首次公開演示。

英偉達演講者Franz明確，其出發點是符合RVA23配置文件和RISC-V服務器平台規範，英偉達不希望為CUDA制定單獨的RISC-V規範。CUDA的特定額外要求僅約兩頁，核心包括PCIe緩存一致性（避免GPU DMA過程中的顯式CPU緩存操作）和PCIe點對點通信（支持GPU間直接數據交換）。

NVLink Fusion為這一路徑提供了商業邏輯：客戶可使用定製CPU或加速器，同時保留英偉達大部分機架級架構。RISC-V CPU由此可在專用系統中替代英偉達基於ARM的主機處理器，關鍵要求是集成英偉達C2C網絡——該網絡可提供高達PCIe約5倍的帶寬和一致性。Franz的明確表態是，RISC-V的吸引力不在於x86或ARM的不足，而在於衆多廠商可針對重要利基市場進行定製化實現，而這些市場未必能獲得大型現有CPU供應商的專項支持。

配合英偉達的推進，Canonical已在Ubuntu 26.04 LTS中將RVA23設為官方RISC-V基準，約95%的常規Linux軟件包存檔已可用；RISC-V國際基金會及SiFive的Krste Asanović表示，多家供應商將於今年向市場推出RVA23服務器級芯片，大部分矩陣擴展工作預計在未來12至18個月內完成批准。RISC-V軟件與硬件生態的協同成熟度正在加速提升。