AI基础设施的竞争正从“堆算力”转向系统级优化。随着AI从模型训练进一步进入推理、智能体和长上下文工作流，算力芯片已不再是唯一瓶颈，网络互联、内存带宽与容量，以及数据在不同层级之间的传输效率，正成为下一阶段基础设施升级的关键。

据追风交易台，花旗发布的AI基础设施峰会纪要显示，博通、Marvell、三星及AWS等公司在峰会第二天集中阐述了各自在网络、存储和定制芯片领域的布局，释放出一个共同信号：AI工作负载持续复杂化后，基础设施需要同时解决互联效率、内存容量、带宽、功耗和成本等问题。

博通明确认为，以太网将成为大规模AI基础设施的首选互联方案，并称其架构相较替代方案可实现超过30%的五年总拥有成本（TCO）节省。三星则披露HBM路线图，预计新一代zHBM较HBM5可实现4至8倍的单GPU性能提升，同时将热阻降低75%至90%。

从博通的高速以太网，到Marvell针对KV缓存的内存层级优化，再到三星推动HBM架构升级、AWS通过定制芯片提升内存带宽经济性，AI基础设施的竞争正在从单纯追求算力规模，转向提升整个系统的数据流动效率。

网络与内存，成为AI扩展的新瓶颈

博通产品管理副总裁Hasan Siraj在峰会上介绍了公司的AI网络布局。博通认为，以太网正在成为大规模AI基础设施的首选互联技术，Tomahawk和Jericho系列则是其核心网络产品。

博通目前已形成覆盖网卡（NIC）、交换机和软件的AI以太网方案。其中，Tomahawk系列持续以每代翻倍的速度提升带宽，最新Tomahawk 6达到102.4 Tbps，面向更大规模AI集群。博通称，更高的网络效率能够同步降低功耗、散热及基础设施运营成本，其方案相比替代方案可节省超过30%的五年TCO。

Marvell数据中心网络集团执行副总裁兼总经理Dave Lazovsky则将重点放在内存层级。随着AI进入推理密集型和长上下文场景，KV缓存规模快速增长，可能超过HBM容量上限，系统因此需要从速度更慢的内存层级重新加载数据，甚至重新计算上下文。

Marvell指出，这一过程会推高推理延迟、内存流量和功耗，成为AI系统进一步扩展的瓶颈。由此来看，未来AI基础设施不仅需要增加算力，也需要重新优化内存层级和数据传输路径，让数据能够更高效地在不同计算与存储层级之间流动。

HBM与定制芯片，争夺系统效率

三星DRAM产品规划与业务拓展副总裁In Dong Kim判断，AI将沿“生成式AI→智能体AI→物理AI”的路径演进。三星预计，训练需求将增长约3倍，推理需求可能增长约100倍，内存、存储、功耗和散热的重要性随之提升。

三星预计，HBM4E将实现每GPU 16 TB/s带宽，性能功耗比相比HBM4提升20%；HBM5较HBM4E实现2倍性能提升。更激进的zHBM则被三星视为潜在颠覆性技术，其单GPU性能较HBM5提升4至8倍，性能功耗比提升3倍，热阻降低75%至90%。

三星同时介绍了Z-NAND方案，采用SLC NAND与TSV堆叠，读取性能可比肩LPDDR5 DRAM，比特密度约为DRAM的10倍，预计2028年开始送样。

AWS则通过定制芯片提升AI系统效率。AWS基础AI模型、定制芯片及量子计算高级副总裁Peter DeSantis表示，公司已形成Graviton、Inferentia和Trainium自研芯片体系，并将Trainium的核心优势归结为“单位成本内存带宽”，认为这一指标直接影响AI训练经济性和token效率。

随着AI从模型训练走向智能体和真实工作流，基础设施竞争的焦点也在发生变化。算力规模仍然重要，但网络连接、内存带宽与容量，以及数据传输效率，正成为决定AI系统性能和成本的关键变量。