速度更快、功耗更低,OpenAI JALAPENO芯片强势叫板英伟达GB300

华尔街见闻
Aug 25

OpenAI称其自研AI芯片Jalapeno在功耗效率和响应延迟上超越英伟达GB300,专攻推理场景,由Broadcom协助开发。该芯片700瓦低功耗实现高性能,旨在降低算力成本。OpenAI称其同时具备高吞吐量与低延迟,尤其适合大模型。但OpenAI无意完全替代英伟达,仍将维持多供应商合作。

OpenAI正加速推进AI芯片自研,旗下Jalapeno在关键基准测试中跑赢英伟达GB300,最快将于今年晚些时候投入实际使用。

8月25日,据彭博,OpenAI表示,Jalapeno在单位功耗可处理的AI工作量和响应速度两项指标上均领先英伟达GB300。该芯片由OpenAI与Broadcom合作开发,主要用于支撑AI模型推理,有望帮助OpenAI降低对外部芯片供应商的依赖。

与传统芯片往往需要在吞吐量和延迟之间取舍不同,Jalapeno同时具备高吞吐量和低延迟性能。OpenAI芯片负责人Richard Ho表示,该芯片在700瓦低功耗下即可实现强劲性能,有助于降低数据中心的电力成本。

不过,OpenAI并未将Jalapeno定位为英伟达芯片的全面替代品。Richard Ho表示,OpenAI对算力的需求极为庞大,未来一段时间仍将与多家供应商合作,英伟达也仍是重要合作伙伴。

与此同时,第二代Jalapeno已进入较成熟阶段,第三代芯片也已启动概念设计,OpenAI正试图通过自研芯片进一步压低AI基础设施成本。

测试表现:两项指标超越英伟达GB300

根据OpenAI使用公开基准测试系统进行的评测,Jalapeno在功耗效率和响应延迟两个维度均优于英伟达GB300,后者是该测试系统中排名最高的产品。

Richard Ho在采访中表示,Jalapeno在高吞吐量领域表现突出,意味着能够以更低成本服务更多用户;同时,其低延迟表现同样出色,对于注重响应速度的客户而言,可以显著缩短响应时间。

OpenAI使用旗下一款小型开源模型,以及来自DeepSeek和月之暗面的第三方模型对芯片进行了公开测试。其中,Jalapeno在月之暗面旗下Kimi模型上的优势最为明显,该模型也是测试中规模最大的模型。内部测试显示,该芯片在运行OpenAI尚未发布的多款大型高阶模型时同样表现良好。

OpenAI在博客中指出,这表明该芯片的设计“随着工作负载增大和复杂度提升而愈发体现其价值”。值得注意的是,此次测试并未纳入英伟达最新一代芯片Vera Rubin,该产品目前刚刚开始出货。

定位推理阶段,不取代现有供应商

Jalapeno专为AI推理阶段设计,即模型完成训练后响应用户指令、执行任务的阶段,并非用于AI模型训练,而训练领域正是英伟达技术的核心优势所在。

在推理领域,Jalapeno的速度优势使OpenAI得以实现此前只能依赖特殊内存架构才能达到的性能。OpenAI目前部分模型使用Cerebras Systems的技术,但这类芯片更适合规模较小的模型。

Richard Ho表示,Jalapeno能够处理更大规模的模型,从而形成差异化优势。

尽管如此,Richard Ho明确表示,OpenAI短期内不会放弃现有供应商。他表示,公司对算力的需求极为庞大,这也是签约众多不同供应商的原因,这种局面还将持续一段时间。

他同时强调,英伟达仍是重要合作伙伴:“英伟达是非常好的合作伙伴,我们持续需要大量英伟达产品。”

研发提速,第二代已在路上

OpenAI表示,公司借助自身AI模型进一步加速了Jalapeno的研发进程。Jalapeno与Broadcom的合作于去年宣布,两家公司曾在今年6月强调该芯片创纪录的开发速度。

目前,第二代芯片已经推进至较为成熟的阶段。Richard Ho表示,预计将在“未来几个月”完成流片。与此同时,第三代芯片的概念设计工作也已经启动,目标是进一步压低OpenAI在全球范围内大规模铺设AI基础设施的成本。

Richard Ho表示,公司已经达到一个能够切实降低基础设施成本的功耗和成本水平,“这只是第一步”。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10