内存不够,AI就得“从头算”!美光高管:我们跟不上内存需求了,全球建厂5座还不够

华尔街见闻
May 06

美光科技核心数据中心业务负责人表示,AI推动内存行业从传统周期性模式转向可持续增长,内存已成为数据中心推理环节的“关键战略资产”。AI推理上下文窗口不断扩大,若内存不足则需指数级重复计算,足够的内存可将GPU算力利用率提升至平方倍。他坦言全球晶圆厂产能已跟不上需求,美光正在全球同步建设五座晶圆厂。

AI对内存的需求,正在以连 美光科技 自己都没预料到的速度爆炸式增长。

The Circuit播客近日发布了一期对话节目,主持人专访了美光科技数据中心业务部门高级副总裁兼总经理Jeremy Werner。对话围绕AI时代内存与存储行业的结构性变化展开。

Werner开门见山地表示,这一轮内存行业的繁荣与以往的周期性波动有本质区别。

内存已经成为数据中心推理环节突破瓶颈的关键战略资产,也是训练全球最先进模型的核心支撑。我不认为这个趋势会放缓。

AI推理的“内存墙”:不够用就得从头算

Werner用一个直白的逻辑解释了为什么推理对内存的需求如此特殊。

训练和推理对内存的使用方式截然不同。Werner说:“训练用内存来学习,然后遗忘,最终输出一个模型。但推理用内存来记忆。”

推理过程分为两个阶段:预填充(prefill)和解码(decode)。在解码阶段,模型需要不断调用此前的计算结果——也就是所谓的KV缓存(KV Cache)——来生成更准确的答案。

问题在于:如果内存不够存下这些历史状态,模型就必须从头重新计算。Werner解释了这意味着什么:

每一轮重新计算,所需的算力相当于此前所有轮次的总和。也就是说,算力需求是指数级增长的。而如果你能存下上一轮的状态,每一轮只需要线性地多做一步。

换句话说,内存不足会让GPU的算力利用率急剧下降。反过来,Werner指出:“如果你能提供足够快、足够大的内存,理论上可以从GPU中榨取出平方倍的算力。”

推动KV缓存需求膨胀的因素有三个:上下文窗口越来越长、模型参数量越来越大、同时并发使用AI的用户越来越多。Werner透露,目前上下文长度正以每年30倍的速度增长。

内存层级:从HBM到SSD,一条完整的“存储链”

Werner详细梳理了AI数据中心的内存层级结构,从最靠近GPU的高带宽内存(HBM)到最远端的海量SSD,构成一条完整的“存储链”。

第一层:HBM,紧贴GPU,典型容量在10至100GB之间,速度最快,但容量有限。

第二层:主内存(Main Memory),连接至CPU,容量通常是HBM的4至20倍,但速度更慢、距离更远。以英伟达Blackwell系统为例,主内存连接至Grace CPU。

第三层:扩展内存(Expansion Memory),通过光纤连接独立内存模块,目前尚未大规模量产部署,但已是业界关注的方向。

第四层:上下文内存存储(Context Memory Storage),即用SSD来存储KV缓存。Werner指出,英伟达CEO黄仁勋今年已公开谈及这一方向。与HBM相比,SSD的延迟更高、带宽更低,但容量可达HBM的1000倍。

第五层:数据湖,数据中心底层的海量SSD存储,以EB(艾字节)计。

Werner表示,目前整个层级从上到下都处于供不应求的状态:“只要我们发布产品,他们就会消耗掉。只要我们提升容量和性能,他们就会找到方法部署。”

HBM4与245TB SSD:美光的两张王牌

面对上述需求,美光正在两个方向同时发力。

HBM4方面,Werner透露,美光刚刚发布了HBM4产品,带宽是上一代HBM3e的两倍以上。他强调,提升带宽的核心逻辑在于:当瓶颈不是算力而是内存带宽时,必须加快数据送达GPU的速度。

SSD方面,美光推出了一款245TB超大容量SSD,Werner形容“这个东西比一副扑克牌大不了多少”。

这款产品的意义不仅在于容量本身。Werner解释,目前数据中心部署的硬盘容量普遍在30TB出头,而245TB的SSD意味着同等存储量所需的设备数量大幅减少,连带减少了网络连接、电源、风扇等配套设施,最终将存储占地面积压缩逾80%,同时显著降低功耗。

“你只需要为你真正需要的性能付费,而这些性能是以更高效的每瓦特GB来交付的。”Werner说。

这直接回应了数据中心当前最棘手的两大约束:电力预算和物理空间。Werner表示:“如果电力是限制增长的瓶颈,那我们就必须在固定功耗预算内,找到提供更高效性能的方法。这正是我们大量创新的来源。”

产能已经跟不上:全球五座晶圆厂同步开建

尽管需求旺盛,Werner坦承,内存行业的产能已经无法跟上需求。

“我们没有在全球建造足够多的晶圆厂。”他直接说道。

目前美光正在全球同步推进五座晶圆厂的建设:

  • 爱达荷州博伊西:60万平方英尺洁净室,相当于10个足球场大小

  • 纽约州北部:已宣布开工建设

  • 弗吉尼亚州:现有晶圆厂扩建

  • 新加坡:南部晶圆厂(Nanfab)破土动工

  • 日本:DRAM生产设施扩建

  • 中国台湾:刚刚从PSMC收购一座晶圆厂

Werner表示,目前整个行业都受制于洁净室空间,这一状况短期内难以改变。

我们已经无法跟上需求了,其他所有人也一样——英特尔、英伟达、台积电都在说,我们已经满负荷了。晶圆厂不是说长就能长出来的。

市场还没看懂这件事

对于市场的担忧,Werner有不同看法。

他认为,市场目前看到云服务商(CSP)资本开支大幅增加,就开始担心这是否可持续。但他的判断是:“这些企业正在经历一场巨大的革命,其潜力仍然超出大多数人的想象。”

Werner还指出,AI的应用场景远未饱和。训练时代已经过去,推理时代刚刚开始,而Agentic AI(智能体AI)和物理AI(Physical AI)甚至还没有真正大规模落地。“我真的相信,我们只是刚刚触及AI将要带来的变革的表面。”

他也承认,硅谷内外对AI的认知存在巨大落差:

在硅谷,大家都非常兴奋,很容易陷入自己的信息茧房。但当我和不在这个行业的朋友聊天,他们很多人还没有意识到未来20年将会发生什么。

访谈全文如下:

突破“内存墙”:美光科技的AI时代战略

节目:The Circuit 嘉宾:Jeremy Werner,美光科技核心数据中心业务部门高级副总裁兼总经理 主持人:Ben Beharin、Jay Goldberg

第一章:开场介绍

Ben: 大家好,欢迎收听新一期《The Circuit》。我是Ben Beharin。

Jay: 大家好,我是Jay Goldberg。

Ben: 今天我们有一位非常出色的嘉宾——来自美光科技的Jeremy Werner。大家一直希望节目里有更多聊存储器的嘉宾,今天这个愿望实现了。Jeremy,感谢你的到来。请先简单介绍一下自己,然后我们就直接进入讨论。

Jeremy: 这可是不小的压力,大家期望值这么高。我是Jeremy Werner,负责美光科技核心数据中心业务部门,我们向全球数据中心提供SSD和DRAM产品。

第二章:这一轮周期与以往的不同之处

Jay: 我听说存储器市场最近表现不错?

Jeremy: 还可以,当然永远可以更好。

Jay: 这正是我想问的。存储器行业历来以周期性强著称,而你们现在的处境感觉像是每天早上起来都要捏一下自己——这是真的吗?你在存储器行业深耕多年,能不能帮我们对比一下这一轮周期和以往有何不同?

Jeremy: 确实有很多有趣的事情正在发生。说实话,在听了你们评论台积电财报电话会议的方式之后,我对给出答案还真有点担心。不过,这一轮确实不一样——AI正在从根本上改变存储器为数据中心创造价值的方式。存储器已经成为破解推理瓶颈、支撑数据中心推理能力的核心战略资产,同时也是训练全球最先进模型的关键所在。这对存储器行业而言是一个无比精彩的时代,而且我不认为这个趋势会放缓。

Ben: 我很好奇,你们对这一切是早有预判,还是像其他人一样被打了个措手不及?存储器在AI这波浪潮中的角色,你们是提前看到了,还是算是赶上了?

Jeremy: 我觉得,当LLM模型发展到足够强大、真正发布出来,让大家意识到它的能力边界之后,全世界都有点惊讶。随着算力和训练能力突破临界点,技术实现了跨越式的飞跃,这一点确实超出了所有人的预期。ChatGPT的发布让全球都意识到了正在发生的事情。当然,说我们完全预见到了需求增长的爆发速度,那并不准确——我们清楚地知道存储器和存储在技术上有多重要,但我们没料到增长会这么快。

第三章:预判AI的爆炸式增长

Ben: Jensen曾公开表示,你们的CEO是AI的早期倡导者。所以你们应该是比较早就看到了吧?

Jeremy: 是的,我们很早就开始布局,持续开发支持AI的各类技术——从靠近GPU的HBM、LPDDR5、SOCAM,到高性能SSD和大容量SSD。这些产品从研发到量产需要三到五年甚至更长时间,绝不是某天突然决定拼凑起来的。Sanjay长期以来构建了一套出色的基础设施体系,让我们能够制定长远愿景、规划未来、探索技术、建立大规模运营体系、推进路线图并与客户深度合作。所有这些要素聚合在一起,才使美光在这个精彩时代取得了今天的成绩。

Jay: 我觉得有一点很关键——你们和台积电、以及存储器领域的其他玩家都在投入扩产,这种投资力度是建立在一个共同判断之上的:这不会再回到深度周期性波动。从数字上看,如果半导体行业今年或明年突破万亿美元规模,之后快速迈向两万亿,它不会再跌回7000亿的水平。市场的底部抬高了,行业格局变了,总可寻址市场的体量变大了。大家都在按这个逻辑规划扩张,因为AI是贯穿整个行业的可持续性创新。

Jeremy: 是的,这是可持续的创新,而且我真心相信,我们现在不过是刚刚触及AI发展的表面。过去几年,训练更复杂的模型是数据中心基础设施建设的最大驱动力。当然,也有很多人在用AI,比如用它来更快地回答问题、编辑文档。但仅仅在过去六个月里,AI能做的事情和发展的速度已经让我不得不完全刷新认知。

Jay,我听了你的播客,你说你一般同时跑二十个云端AI Agent。

Jay: 哈哈,对,但录节目的时候只跑五个。

Jeremy: 现在Agentic AI已经出现,个人和企业都刚开始摸索它的可能性;而Physical AI(物理AI)实际上还没有真正大规模展开——这是一条未来多年持续扩张与变革的路线图。未来十年、二十年,世界的面貌会截然不同。如果你想看清未来,不妨回头看看阿西莫夫的作品。我不是说我们真的会在月球中央建一个机器人城市,但他对自动驾驶汽车、飞行自动驾驶交通工具、无所不能的机器人、高度自动化的生产与制造等方面的预言,在今天看来颇具前瞻性。我们现在正处于这场变革的起点。

第四章:AI市场的长期可持续性

Jay: 毫无疑问,所有这些发展都将带来海量的存储器需求,同时也会产生需要快速访问的大量数据,这对我们的SSD产品线同样是利好。

Ben: 好,那我们来深入聊聊你提到的推理这个话题。我认为这是理解当下正在发生什么的最佳切入点——我们正在从训练时代走向推理时代。围绕ASICs和GPU的基础设施与芯片架构,在很大程度上是为训练而设计的。而现在,我们看到这个格局正在向推理时代演进。比如英伟达开始推出专门针对推理的产品,谷歌也推出了专用于推理的TPU——这些都是我们预料中会发生的事。训练架构和推理架构会走向分化,而推理架构面临着截然不同的存储挑战——谷歌称之为"内存墙"。你能详细讲讲推理的工作负载,以及为什么推理加速器对存储器的需求如此不同,这将对存储器行业产生怎样的影响?

第五章:AI推理中的"内存墙"

Jeremy: 当然。训练用存储器来学习,学完之后释放掉,最终输出一个模型。但推理用存储器来记忆。推理可以粗略地分为两个关键阶段:第一个是预填充阶段(prefill),所有的提示词token在这里被处理;第二个是解码阶段(decode),每个token在这里被反复迭代以得到更好的答案——实际上会有多个解码阶段。

在解码阶段,过去所有的上下文信息都应该被喂给模型,以便获得最准确的答案——这是模型智能的主要来源。而这正是推理的"内存墙"所在之处。

第六章:KV缓存与上下文窗口详解

解决这个问题有两种思路。在传统架构中,有一种叫做KV缓存的机制:在解码过程中,计算完token之后,将KV缓存保存在内存里,再把它读回来,继续计算下一个token,如此反复迭代。

上下文窗口越长——对于不熟悉这个概念的朋友,可以把它理解为你输入到问题里的信息量,比如你和AI对话的历史长度——所需的迭代次数就越多。如果你没有足够的内存来存储历史上下文,就必须从头开始重新计算所有内容。这意味着计算量会呈指数级增长——每一轮的计算量,几乎等于此前所有轮次的计算量之和。相反,如果能保存上一轮的状态,每一轮只需增加线性的计算量。所以,一旦内存不足以存储足够的上下文,计算量就会以平方级别膨胀。

此外,不只是上下文本身——模型规模(即参数量)也在持续增长,这对模型智能至关重要;每次迭代的token数量在增长;同时,每块GPU上并发运行的Agentic AI用户数量也在增长。所有这些因素叠加,使得每块GPU所需的KV缓存量急剧攀升。如果能成功提供足够的内存和存储,理论上可以从GPU中榨取出远超传统模式——即平方级别——的计算效能。

第七章:内存层次结构——从HBM到SSD

Jay: 我们节目有不少非存储器、非技术背景的听众,能不能退一步,带大家梳理一下整个存储器层次结构?存储器的种类很多、缩写也很多,整体比较复杂。

Jeremy: 当然。负责AI计算的GPU、TPU或其他加速器,离它最近的是目前受到最多关注的一类存储器,即HBM——高带宽内存。它既用于训练,也用于推理栈中的token生成。通常情况下,紧贴GPU存储的KV缓存大约在10到100GB之间。

如果HBM容量不够用,KV缓存就往外移一层,进入主存(main memory)。主存通常挂载在CPU上——比如在H100系统中,往往连接的是英特尔AMD的x86 CPU;在英伟达最新的Blackwell系统中,主存则挂载在Grace CPU上。这部分内存的容量通常是GPU上HBM的4到20倍——容量更大,但速度更慢、距离更远。

到目前为止,KV缓存基本上就止步于主存这一层。一旦超出,就只能重新计算。但随着推理越来越复杂,上下文窗口不断扩大,大家开始探索进一步扩展内存容量的方案。

往下一层,有一个叫做扩展内存(expansion memory)的概念,目前还没有在生产中得到实质性部署。思路是将大量高容量DIMM模块通过光学连接,放在独立的扩展盒中,与所有GPU相连——当主存不够用时,可以从这里获取高速存储。

再往下,就是Jensen今年重点提及的"上下文存储"(context memory storage)——用SSD来存储更多的上下文。这个层级的延迟更高、带宽更低,但容量可以达到HBM的一千倍。

最底层是数据中心里由海量SSD构成的EB(艾字节)级网络数据湖。这就是整个层次结构的全貌。

Ben: 那么在今天,瓶颈最集中在哪里?无论是技术层面还是产能层面,痛点最突出的是什么?

Jeremy: DRAM和SSD,整个栈从上到下都有需求。我们一旦推出新产品,立刻就会被消化吸收;容量和性能一旦提升,客户马上就能找到部署方式。可以说,全线都是瓶颈。

第八章:规模化服务数十亿并发用户

Ben: 从训练过渡到推理,让我最为震撼的一点是:在训练场景中,只是少数人把训练任务扔给一堆计算节点,目标就是跑完训练、输出模型;而推理面临的挑战完全不同。我们即将迈入这样一个阶段——数千万、数亿乃至数十亿用户,将同时使用巨大的上下文窗口处理各自的任务。无数用户在同一时刻,都需要海量内存来支撑他们的工作。我理解像TPU这样的AI推理架构是为此而生的,但就算有满架的芯片,再加上你们提到的内存扩展设备,面对这种级别的并发,感觉问题还是极难解决。整个存储器层次结构中,什么能帮助解决这个问题?同时高并发命中所有这些用户的工作负载,对存储器的需求究竟是什么?

Jeremy: 关键在于速度。如果瓶颈不在算力,而在内存带宽,那我们就必须提升带宽,让所有历史上下文都能快速到达GPU。很大程度上,这取决于速度——这也是我们在HBM产品上持续高速创新的原因。我们刚刚发布了HBM4产品,其带宽是上一代HBM3E的两倍以上,而HBM3E在一年前还是行业前沿。

第九章:破解功耗与效率瓶颈

当然,当你持续提升性能时,就会遭遇其他瓶颈——尤其是在数据中心层面,而这也是长期以来大多数人在AI部署上最关注的问题:功耗。

能否获得足够的电力来驱动所有这些算力?能否充分发挥算力的效用?能否让电力物尽其用?如果性能翻倍的同时功耗也翻倍,而电力总量固定,那实际上能提供给用户的并没有增加。所以,关键在于:如果电力供应是增长的瓶颈,我们就必须在固定功耗预算内,大幅提升性能效率——这正是我们大量创新工作的核心所在。目标是在不等比增加功耗的前提下,持续提升性能。

大家在存储器领域经常谈带宽——数据以什么速率传输。但现实远比这复杂。随着整个栈中一些深层次的动态变化正在发生,美光在这方面有一些很有意思的探索。要真正实现功耗效率的提升,必须深入了解推理的处理方式与细节,这反过来驱动了大量的协同代码设计需求——比如在GPU和存储器之间,哪些计算该在哪个层级完成。这是当下存储器行业另一个深层次变革要素。

第十章:AI为何正在引发存储短缺

Jay: 我想接着问一个让我很感兴趣的问题。靠近GPU的存储器、尽可能大的带宽,这部分需求我很好理解。但听起来存储方面也面临大面积短缺,不只是在计算侧或GPU托盘上,而是覆盖整个数据中心生态系统。这是为什么?

Jeremy: AI对存储的需求来自几个方面。首先,AI本身会生成大量数据。用过Grok或者刷过X(推特)的人都知道,AI图像生成的速度之快,远超任何一个最熟练的表情包制作者,而所有这些内容都会被存下来。我常说,大多数人都是数字囤积狂——我们不太舍得删数据。

不仅如此,AI模型正在让我们每个人——包括那些以前缺乏技术能力来实现创意的人——都能把想法变为现实,至少是数字现实。这是一场面向所有人的创意革命,我们都在创造更多数据。企业也同样如此,AI让他们能够更好地创建和利用自己的数据。而要真正发挥AI的价值,最关键的是把所有数据都存放在可以被快速访问的地方。

AI不只是创造数据,它还要访问数据来提供洞察、解决问题、给出更好的答案。这就带出了存储领域的一个概念——"数据预热"(warming)。我们通常把数据分为"热数据"和"冷数据"。热数据是指近期很可能被访问的数据;冷数据则是那些基本上没人会查的东西,比如十年前的税单。但有了AI,你一提问,它就要翻遍所有数据来找答案——那些曾经的冷数据,正在变暖。一切都在升温。数据越热,就需要越快的存储,因为访问频率大幅增加。

此外,还有另一个令人兴奋的未来增长点:由于没有足够的内存来存储所有KV缓存,数据中心SSD将迎来巨大的增量需求,用于存储查询调度和多轮对话工作流——如果用现有架构来处理,就不得不反复经历我前面说的那种重新计算的循环。

第十一章:个人AI Agent与持久化内存需求

Jay: 这正是我在使用AI过程中花了大量时间研究各种"框架"的原因——Open Claw、Hermes,各种新工具层出不穷。其中一个很重要的功能是跨模型的负载均衡,但还有一个更重要的部分是为AI创建持久化记忆。现在一个大问题是:你用AI Agent做了一件事,下次打开它什么都不记得了。

Jeremy: 这不会让你抓狂吗?就好像教一班学生,每天都要从教材第一页重新开始。

Jay: 对,太形象了。现在很多工具都声称"你得用这个、你得用那个",本质上都是在为AI Agent创建一个文件结构来模拟记忆——这些都是变通方案。它背后的逻辑是:如果你给AI提供记忆,它的历史就会存在内存里。如果你离开一段时间,内存要么继续占着,要么需要卸载到SSD,等你回来时再读回来。

Ben: 是的。我现在在Claude里管理着好几个任务和项目,得很刻意地切换到对应的项目或上下文窗口,不然会混在一起。而且我一直担心每个项目最终都会把上下文窗口撑爆。这周跟很多人聊,大家都在推荐各种工具和"超级插件"——我觉得最终一定会有人做出一个更通用的框架,自动帮你管理这一切。大家都会喜欢它,因为用起来简单多了,但代价是消耗更多内存。现在我手动管理,确实比较高效,但我很愿意牺牲这种精细化控制,换来更流畅的体验——哪怕那意味着需要更多内存,效率更低。

Jeremy: 这正是我们观察到的现象——上下文长度,也就是你说的这个,目前正以每年30倍的速度增长。

Ben(Jay): 天哪。

Ben: 还有一件事让我觉得难以置信:我现在和AI的交互——比如用ChatGPT或Claude——是一种碎片化的记忆配上碎片化的存储。它只能看到一个"文件夹",只有当前上下文范围内的内容是热数据,我所有的数据并不全部可用。我最近才意识到,我电脑上的文件加起来有好几个TB,绝大部分在AI的语境里都是冷数据。我非常想对AI说:"喂,帮我找一下这个东西,"但它就是做不到。所以你说的那种场景——企业把全量数据上线,同时开放边缘访问——在我看来是AI价值的又一次阶跃。当你真正拥有所有数据的访问权时,那将是质变。但这同时也是一个需要我们解决大量难题的存储与内存问题。

第十二章:超大容量SSD的创新

Jeremy: 正是如此。沿着这个方向,针对企业级大规模数据——加上我们刚才讨论的功耗问题——我们最近发布了一款245TB的SSD,体积只比一副扑克牌稍大一点点。

引入这样的产品,我们能够大幅降低数据中心和企业在存储上的功耗,同时将存储的物理占地面积压缩超过80%。功耗是一大瓶颈,数据中心的物理空间也是一大瓶颈,而让存储更靠近GPU也是未来的重要趋势。所以,在更低的功耗占用下,释放数据中心的潜力,提供更高的性能和更大的存储容量,并且尽量靠近GPU——这是我在文件与对象存储领域最为期待的事情之一。

Ben: 这种功耗的优化是存储技术本身的进步,还是因为在单一体积中集成了更大的容量,减少了分散部署的开销?能不能稍微展开讲讲功耗方面的机制?我认为这一点非常关键——大家都认同Jensen的基本逻辑:在固定的功耗预算内,实现最大化的算力,这包括我们讨论的所有基础设施。所以,任何能降低功耗成本的创新都至关重要。

Jeremy: 当然。首先,SSD相比机械硬盘,在提供性能方面本身就具有天然的功耗优势——从读取角度看,根据工作负载不同,SSD的读取性能可以达到机械硬盘的一千倍,而且没有活动部件,这从一开始就带来了显著的功耗节省。

但更大的收益来自大容量带来的系统级整合效应。245TB装进一个大约四分之一机械硬盘大小的空间里,而目前部署的机械硬盘容量大概在30TB出头。这意味着你需要的网络连接、线缆、机箱、电源模块、散热风扇——所有围绕着部署多出10倍设备而产生的附加成本——全都大幅减少。这些"附加"的东西都有实实在在的成本和功耗。把这些冗余全部消除掉,做到高度整合,最终你只需要为你真正需要的性能付费,而这些性能是以更高效的每瓦特GB来交付的。

Ben: "每瓦特GB"这个指标,我觉得是个很好的分析框架。

第十三章:加速工程创新的节奏

Ben: 聊聊你们在整个栈上正在推进的创新工作。我想从两个角度来看这件事。从历史角度说,你有没有感受到存储器领域创新节奏加快的压力?我一直以为——你可以纠正我——历史上存储器,乃至存储行业在某种程度上,在挑战极限方面会相对保守,因为很多事情必须做对,良率不能出问题。这一点当然没有变——我不是说存储器突然可以像逻辑芯片一样接受50%的良率了,不可能。但我感觉现在是那种要踩下油门的时刻。你们是怎么看待这个问题的?又在哪些方向上着力解决?对于那些在存储器与存储领域专注攻坚的工程师来说,这也是一段很特殊的时期。

Jeremy: 是的,一切都在加速:我们的时间线在加速,创新速度在加速,产品需要内嵌的智能程度在加速,复杂度在加速,超级工厂(mega fab)的建设速度在加速。这是真实的挑战,但也令人振奋。谁不希望每天来上班,到了晚上回头一看才意识到自己几乎没有喘息过?我们以惊人的速度奔跑,这在美光是一种令人充满活力的感受。

我们在做的事情之一,是拥抱AI技术本身。如何跑得更快?这个时代给了我们一个绝妙的工具——我不想说是"从天而降",因为我们自己也参与了它的构建——我们正在用它来加速自身的能力,提升良率更快,设计和研发更快,发现问题更快。所有那些传统上存在的挑战依然存在,但现在我们要更快、更好、更高效地完成所有事情:更快地流片,更快地迭代制程技术,在全球各地的工厂更快地完成设备安装和产能爬坡——更快,更快,更快。一周只有七天,到了某个点你就必须寻找创新的方法。我们一直做到了,而现在AI是一个了不起的工具,正在帮助我们迈向下一个层级。

Ben: 在这一点上,我能想象客户会直接来找你们说:"我们需要你们实现这个,能做到吗?"然后你们全力投入,协助解决他们两三年后将面临的问题。这种在存储器与存储方面深度联合优化的合作模式,在美光与合作伙伴之间,一直是这样吗?

Jeremy: 我们一直保持着扎实、深入的技术合作。我们有趣的地方在于,需要与整个链条上的所有人协同——软件提供商、CPU和GPU硬件设计商、制造工艺、系统集成商、数据中心建设方。我们可以和产业链上下游的每一个玩家携手合作。但现在的合作深度,是前所未有的。这种深度联合设计,正是回到我们一开始说的,这一次对存储器行业而言真正不同的地方。

第十四章:市场的误解与AI的未来潜力

Jay: 很有价值的分享。那么,你觉得市场上大家普遍还没有意识到的是什么?有哪些误解?

Jeremy: 我觉得人们看到大型云服务提供商和数据中心企业资本支出不断攀升,会担心这是否可持续。但我认为,这些企业正在经历一场深刻的变革——就像我前面提到的,它将从根本上改变人类社会,解决无数难题:没有医疗资源的人将能获得诊断和外科建议;我们将以更快的速度实现创新;生产与制造将走向高度自动化,提升全球数十亿人的生活质量。

当然,并非所有事情在任何时刻都是清晰可见的——这些模型的商业变现何时转化为实际营收?他们的投入是否超过了当下的能力?我的答案是:没有。我认为AI的潜力仍然超出大多数人的想象。

有趣的是,在硅谷,大家对AI的热情高涨,很容易陷入自己的信息圈,因为周围的人都深刻理解这项技术的深度,也知道各种令人兴奋的进展。但当我和不在这个行业的朋友聊,情况就不一样了。有的朋友确实说:"这东西让我能在自己的行业做出难以置信的事情",他们真的在创新。但也有更多的朋友,他们看到的是LLM在ChatGPT上的表现和股市的波动,却并没有真正看清楚未来二十年将会发生什么。而我完全相信那一切都会发生。

第十五章:全球超级工厂建设竞赛

Jay: 让我问一个反面的问题。我们大概都同意,AI是真实的,只是大多数人还没意识到它的潜力。这意味着随着时间推移,人们会逐渐追上来——他们会意识到ChatGPT不只是用来生成搞笑表情包的,可以真正做严肃的工作。需求还在持续加速——但近期内,存储器行业能跟得上吗?有没有可能到了某个时间点,我们只能告诉用户:"不好意思,我们已经尽力了,新工厂还没投产,先等半年吧。"

Jeremy: 坦率地说,从产能角度来看,那个时刻已经到了。我们已经跟不上需求了。

全球的工厂建设确实不够用,而建一座工厂绝非易事。给你一些参考:我们目前在全球同时建设五座工厂。我们已宣布在爱达荷州博伊西建设一座60万平方英尺的洁净室;在纽约州北部启动了新工厂建设——这些项目正在把存储器生产带回美国本土,同时扩充我们在弗吉尼亚州的存储器工厂,使美国成为存储器的重要生产国。仅博伊西和纽约的工厂,每一座的车间面积就相当于十个标准足球场大小。此外,我们宣布在新加坡的Nan Fab破土动工以扩大产能,扩建日本的DRAM生产设施,并从台湾PSMC收购了一座工厂。我们正在大力推进建设以快速上线产能。

目前,整个行业受限于建筑施工和洁净室空间,这种状况短期内不会改变。如何满足需求,是我们面临的最大挑战。我们也在通过提升工艺技术来提高每平方英尺的芯片产出,从而在不扩大面积的情况下多生产一些。但归根结底,我们已经没能跟上需求,其他人也一样——英特尔、英伟达、台积电都在财报电话会上说:产能已经满了,工厂不是说长就能长出来的。

Ben: 而且回头看整个对话,让我感慨的是变化之快——就连一年前,我们都没有聊过这些话题。很可能一年后,这里的一切又会大不一样。但不管形势怎么变,对算力的需求不会变;而我们正在解决的这些问题,会随着更多算力、更多存储器、更多存储的到位,让AI变得更有能力。我忘了是谁说的了,但有一句话我特别喜欢:"你今天用的AI,是AI有史以来最蠢的。"然而感觉已经相当聪明了。你们正在解决的这些问题,正是让AI更有用、更有价值的关键——而随着AI越来越好,超大规模云厂商的变现能力也会提升,吸引更多用户,创造更多价值。存储器和存储,是这一切的核心组成部分。

Jeremy: 说得好。

第十六章:结语

Ben: Jeremy,非常感谢你今天来到《The Circuit》,也感谢你的时间。欢迎随时回来聊存储器。感谢大家的收听,希望这期节目对你们有所启发,我们下周再见。

Jeremy: 谢谢大家,别忘了告诉你的朋友——还有你的AI Agent。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10