广发证券:AI记忆上游基础设施价值量、重要性提升 建议关注产业链核心受益标的

智通财经
Feb 03

智通财经APP获悉,广发证券发布研报称,AI的Memory时刻,AI记忆成为支撑上下文连续性、个性化与历史信息复用的底层能力,持续扩展模型能力边界,有望促进AI Agent等应用加速落地。AI记忆的价值正从“费用项”转变为“资产项”,相关上游基础设施价值量、重要性将不断提升。建议关注产业链核心受益标的。

广发证券主要观点如下:

英伟达推出AI推理上下文存储平台ICMS

随用户多轮会话与Agent持续运行带来的KVCache不断累积,系统对可长期留存并按需回填的分层KVCache形成刚性需求,推动上下文从HBM外溢至DRAM、SSD等分层介质承接。为此,NVIDIA推出上下文记忆存储架构ICMS,面向Agent与多轮推理场景提供“长期上下文记忆层”,一方面承载更大规模KVCache,另一方面以低延迟将历史KVCache回填到多GPU节点的多回合推理会话;其KV访问模式呈现低TTFT约束下的高并发、高吞吐随机读取。

ICMS平台对SSD使用效果好

经济性与扩展性方面,SSD单位成本显著低于GPU内存,且可按TB、PB容量扩展,是长期上下文的天然承载介质。可行性方面,根据《Context Memory Storage Systems, Disruption ofAgentic AITokenomics, and Memory Pooling Flash vs DRAM》,ICMS引入PB级存储层后,其访问延迟仅较池化DRAM略高。实证方面,WEKA对其增强型内存网格(AMG)进行性能评估,AMG是一种与NVIDIA的ICMS兼容的上下文存储解决方案。测试在decode阶段模拟用户池持续扩张:(1)当初期用户池较小,KVCache基本驻留在GPUHBM,三种方案(HBM+WEKAAMG、HBM+DRAM、HBM+DRAM+POSIX文件系统)的token吞吐均能维持在高位。(2)随着用户数持续增长,KVCache会外溢到更低层级的内存/存储,token吞吐开始下滑;但WEKAAMG凭借更高容量、以及更强的网络与并发随机访问能力,能够更快完成上下文预取与回填,降低冷启动与阻塞,从而在大用户池阶段保持更高且更稳定的token吞吐,相较HBM+DRAM与HBM+DRAM+POSIX方案,其吞吐提升最高可达4倍,验证ICMS可有效承接长期上下文并维持吞吐稳定性。

ICMS平台打开存储市场空间

参考vastdata,该行对上下文存储空间大小进行测算。(1)单个token所需存储空间:假设有10万个同时在线用户或Agent使用Llama 3.1405B,则单个token的存储空间为504KB/token;(2)用户上下文窗口所需存储空间:若每个上下文窗口为64000 tokens,则对应存储约为30GB。(3)留存倍数:为获得更好的用户体验,假设留存倍数为15×。在上述假设下,10万用户的总存储需求约为45PB,即若要在具备强对话历史能力的大上下文模型上稳定支持10万用户/Agent,所需上下文存储规模可达PB级。

风险提示

AI产业发展以及需求不及预期;AI服务器出货量不及预期,国产厂商技术和产品进展不及预期。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10