CPU:推理時代地位重塑

中金點睛
05/22

中金認為,Agentic AI的複雜任務編排與高併發需求使CPU成為推理核心瓶頸,地位重塑。預計CPU與GPU配比將趨向1:1,2030年市場超1300億美元,短期漲價持續。技術向高帶寬與專業化演進;Arm因高能效契合推理需求,份額將加速追趕x86。

摘要

CPU需求為什麼會增長?在大模型訓練階段,以GPU為核心的矩陣計算能力是決定模型能力的核心,產業內關注焦點也聚焦在FLOPs等GPU的計算性能優化上。但從2H25起,出現了兩方面變化:1)在訓練側,強化學習的重要性提升,使得CPU/GPU配比成為了系統的關鍵指標之一;2)在推理側主要有三個領域:a) 推理Host CPU,配合GPU進行任務調度和利用率優化等,甚至執行簡單推理任務,形成對GPU的替代作用;b)編排節點CPU,在複雜agentic任務中,作為獨立節點承擔邏輯運算並進行任務編排;c) 沙盒執行層隨併發任務數增加帶來CPU需求。

AI驅動下,CPU市場規模有多大?我們從兩個維度嘗試進行測算:1)中性基於GPU:CPU=1:1配比估計下,我們測算至2030年全球CPU市場規模將超1300億美元;2)我們測算Agentic AI當前情景下(5億DAU或300億日均token)對CPU的新增需求大約為840萬顆。從技術發展趨勢看,作為新操作系統的「調度器」CPU的升級趨勢包括更強的單核性能、更大的內存帶寬、更強的I/O能力、更多核心數。長期來看,我們預計數據中心CPU迭代將圍繞三條主線展開:數據帶寬能力提升、任務分工專業化,以及與加速器的深度融合。此外,在需求快速增長情況下,我們認為2026年服務器CPU漲價趨勢有望持續。

競爭格局:x86 vs Arm,誰將勝出?目前全球服務器CPU市場中Arm市佔率不到20%,仍以x86架構為主。考慮Agent類產品擁有高併發、持續運行、大量輕量級推理請求的特點,Arm精簡指令集的功耗效率佔優,可以支持更多核心處理併發請求,適用於高吞吐的推理服務,我們預計未來其份額或將提升。

正文

隨着推理需求的持續提升,對服務器系統從原本以GPU(矩陣計算)為核心轉向CPU(任務編排等)重要性提升的討論逐漸升溫,我們認為長期來看,服務器內部的異構系統會成為趨勢。本文重點討論四個問題:1)從需求角度來看,本輪CPU需求提升的原因是什麼?2)類比存儲的變化,當前CPU市場在供給和需求端呈現什麼狀態?3)長期視角看,未來CPU的發展趨勢有哪些?4)CPU市場的競爭格局如何?

CPU需求為什麼會增長?

在大模型的訓練階段,以GPU為核心的矩陣計算能力是決定模型能力的核心,產業內關注焦點也聚焦在FLOPs等GPU的計算性能優化上。但從2H25起,出現了兩方面變化:1)在訓練側,強化學習的重要性提升,使得CPU/GPU配比成為了系統的關鍵指標之一;2)在推理側主要有三個領域:a) 推理Host CPU,配合GPU進行任務調度和利用率優化等,甚至執行簡單推理任務,形成對GPU的替代作用;b)編排節點CPU,在複雜agentic任務中,作為獨立節點承擔邏輯運算並進行任務編排;c) 沙盒執行層隨併發任務數增加帶來的CPU需求。

訓練視角:強化學習帶來對CPU需求的提升

強化學習對CPU/GPU配比提出新要求。與傳統意義上認為在訓練階段GPU是唯一重要的衡量指標不同,隨着強化學習的重要性提升,考慮CPU資源的約束也成為了一個值得關注的方向。目前強化學習的實踐中,環境交互以及如何分配硬件資源,已經成為了系統的主要瓶頸,由於需要大量CPU資源去運行模擬環境,CPU不足也會造成GPU 空轉。因此合理設計CPU/GPU的配比,讓CPU的線程數等於或者大於GPU SM 的數量,也成為了一個重要方向。但從絕對量的角度看,我們判斷強化學習帶來的對CPU的需求相對推理較為有限。

推理視角:Agentic AI時代,CPU成為瓶頸環節

  • 簡單推理:成本視角下,CPU對GPU的替代作用

成本視角考量,CPU對GPU存在一定替代可能。當前GPU仍處於緊缺狀態,同時高性能的GPU不管是租賃價格還是缺貨情況都未見到明顯緩解。在訓練場景中很難採用其他計算芯片對GPU進行替代,但來到推理場景後,一方面對矩陣計算的性能要求有所下降,另一方面在一些簡單的推理任務中,如chatbot等,業內已經開始採用浮點計算性能較低的RTX系列等算力芯片進行推理。

考慮CPU價格對比GPU的優勢明顯,我們判斷在一些簡單的推理任務中,CPU一定程度上也可能替代GPU,帶來一定拉動。從海內外頭部CSP對ASIC芯片的推動,以及對定製化CPU芯片的探索思路看,也具有一定的共同之處。但這部分無法進行具體的測算,同時潛在空間有限。

圖表1:CPU在推理中的重要性提升

資料來源:The Rising CPU:GPU Ratio in AI Infrastructure: Drivers, Trends, and Implications(Intel,2026年),中金公司研究部

  • Agentic AI:Token消耗佔比持續提升,複雜任務編排使CPU成為新的瓶頸

我們認為Agentic AI時代CPU的變化具有三個特點:1)總體來看:任務鏈條和流程複雜帶來的CPU重要性上升;2)工作負載複雜化:不同的工作負載對CPU要求不同,RAG、ChemCrow等工作負載中,CPU 已經成為了核心瓶頸;3)併發數量增加:併發數量增加會進一步加大CPU作為瓶頸的約束情況,進而在執行層帶來對沙箱的需求增長。

Agentic AI具有更泛化的應用能力,正逐漸成為AI應用的主流。Agentic AI以生成模型為基礎,增加了編排、記憶和目標導向行為,可以規劃多步驟任務、調用工具、迭代結果,並在更長時間的工作流程中運行。根據OpenRouter數據,到2025年底,推理產生的token已超過總token的50%,有15%的推理過程以「外部工具調用」結束。

圖表2:推理產生的token數佔比

資料來源:OpenRouter,中金公司研究部

圖表3:以「外部工具調用」結束的推理過程佔比

資料來源:OpenRouter,中金公司研究部

多步驟、多工具調用的Agentic AI帶來任務流程的複雜化。從工作流視角看,在傳統的生成式 AI(如單輪對話的大語言模型)中,整體的輸入-輸出流程相對簡單,步驟也較少。但隨着AI向Agentic(智能體化)演進,在推理過程中步驟更加繁雜、不同工具、外部API 調用等成為常態,因此CPU作為任務編排的核心重要性在上升。

圖表4:Agentic AI在編譯器,任務執行流程,執行複雜度方面的變化

資料來源:A CPU-CENTRIC PERSPECTIVE ON AGENTIC AI(Georgia Institute of Technology,Intel,2025年),中金公司研究部

Agentic AI 任務中工具處理需求的出現,在部分的工作負載場景下CPU已經成為新的瓶頸環節。在大語言模型的執行方式下,推理流程為:推理1——工具調用1——推理2——工具調用 2——推理 3……,由於系統必須等到LLM 生成完整工具調用的所有 token,纔開始執行,因此會帶來GPU 空轉(等待工具返回結果)和工具空轉(等待模型生成指令),因此需要CPU進行工具處理。從而使系統從原來的GPU為核心之外,CPU作為工具處理的重要性大幅提升。《A CPU-CENTRIC PERSPECTIVE ON AGENTIC AI》的論文中列舉了不同的工作負載延遲表現,可以看出由於CPU上的工具處理可能佔據端到端延遲的很大一部分,因此行業內優化的重點來到了以CPU 為核心的優化策略上。

圖表5:在沒有部分工具調用的情況下,會形成GPU空轉帶來延遲

資料來源:Conveyor: Efficient tool-aware llm serving with tool partial execution(Duke University,2024年),中金公司研究部

圖表6:不同工作負載下端到端運行的延遲情況,CPU 已經成為了核心瓶頸

資料來源:A CPU-CENTRIC PERSPECTIVE ON AGENTIC AI(Georgia Institute of Technology,Intel,2025年),中金公司研究部

動態視角看,CPU 的超額訂閱會隨着併發任務的數量增加變得更加嚴重。隨着批處理(Batch size)大小的增加,以及輸入/輸出 token長度的增加,在不同的工作負載下,CPU 作為瓶頸環節的影響是在逐漸變大的。也就是說,用戶數或者併發任務的增加,會使得CPU 核心數量的要求更高。例如當Batch-size達到 128 的時候,系統需要同時調度數百個工具執行進程,因此CPU 的核心數成為了新的短板。而增加CPU資源在延遲改善和提高系統利用效率方面具有明顯效果。

圖表7:增加CPU資源的分配可以減輕延遲

資料來源:Characterizing CPU-Induced Slowdowns in Multi-GPU LLM Inference(Georgia Institute of Technology,2026年),中金公司研究部

圖表8:分配更多的CPU核心可以縮短高利用率時間

資料來源:Characterizing CPU-Induced Slowdowns in Multi-GPU LLM Inference(Georgia Institute of Technology,2026年),中金公司研究部

  • Sandbox執行層:驅動多核併發與硬件虛擬化需求的增長

複雜Agent任務帶來沙箱(Sandbox)需求快速增長。在企業級應用場景中,為確保系統安全性與執行環境的純淨,系統會針對每一個外部工具調用請求,瞬時拉起(Spin-up)並隨後銷燬(Tear-down)一個獨立的微型虛擬機或容器(MicroVM/Container),即沙箱。從當前的任務分類看,除了少數的只讀型、純API 調用、純本地調試等任務之外,涉及到自主執行代碼或調用外部工具的任務,沙箱在系統安全、效率控制、環境一致性等方面的優勢表明它都是必須存在的。

圖表9:多智能體架構中,執行智能體利用虛擬機(VM)作為沙箱來運行代碼

資料來源:The Rising CPU:GPU Ratio in AI Infrastructure: Drivers, Trends, and Implications(Intel,2026年),中金公司研究部

沙箱消耗 CPU的硬件虛擬化指令集(如 Intel VT-x/AMD-V)性能,更對 CPU 的物理核心數提出了線性增長的需求。當系統面臨同時執行數十個網頁抓取、代碼編譯或數據清洗等併發任務時,龐大的物理核心數是實現橫向擴展、降低任務間上下文切換損耗的唯一解,因此對CPU調度能力產生更高要求。而CPU的核數決定了能開啓多少個沙箱(即並行環境)。

圖表10:Agentic AI對沙箱的需求

資料來源:微軟,中金公司研究部

AI驅動下,CPU市場規模有多大?

從上文可以看出,訓練和簡單推理對CPU的需求處於次要地位,核心還是agentic AI。隨着 agentic AI的快速發展,及多步驟的複雜推理任務比重和難度增加,對任務編排調度的要求也持續提高,進而引發了對CPU需求的增加及未來GPU:CPU配比變化的探討,本章節從兩個維度嘗試進行測算。

配比視角:Agentic AI推動服務器CPU市場規模快速增長

  • 我們預計2030年全球CPU市場規模將突破1300億美元

CPU在單台AI服務器中的配比將迎來提升,提升系統邊際效率。從第一章對CPU需求的視角出發可以看出,過去AI服務器中CPU在配比的數量、核數等多個方面都已經無法滿足需求,為保持系統整體的高吞吐量,服務器架構需要顯著提升CPU的核心數和緩存性能,導致CPU在整體算力採購成本中的佔比提高。因此我們預計CPU的需求將迎來增長。

配比的具體數字是核心。聚焦幾家CPU 廠商最新表述來看:1)英特爾:CEO陳立武在1Q26業績會上提到CPU:GPU配比有望從1:8/1:4進一步提升;2)AMD:1Q26業績會上蘇姿豐預計全球服務器CPU市場有望在2030年達1200億美元規模;3)ARM:4Q26業績會上CEO預計全球服務器CPU市場有望在2030年超1000億美元規模。

需要指出的是,當前對GPU:CPU的配比並沒有一致結論。由於現有的服務器架構較為固定,因此在推理服務器中我們預計仍將以2個GPU配1個CPU的方式進行配置;但考慮到agentic AI的需求,純CPU的機櫃也將開始陸續部署,因此從綜合的視角看,CPU:GPU配比將從目前8卡服務器中1:4的比例逐漸提升,2030年或將達1:1甚至更多。

中性基於1:1的預計倒推,我們測算至2030年全球CPU市場規模將超1300億美元。核心假設有:1)全球算力卡預計2030年達4240萬顆;2)AI服務器CPU:GPU配比2030年達1:1;3)AI服務器CPU單價隨核心數的增加、性能的提升及代工的升級2026-2030年增幅在16%。

圖表11:數據中心CPU市場規模測算

注:圖中CPU價格為預估,並不代表實際售價

資料來源:BBG,各公司官網,中金公司研究部

需求視角:Agentic AI對CPU數量及核數提出新需求

  • 總量:當前情境下Agentic AI對CPU新增需求超過800萬顆

我們測算Agentic AI當前情景下對CPU的新增需求大約為840萬顆。從需求端對CPU的測算較為複雜,我們簡化後通過併發任務數量的形式,討論Agentic AI對CPU的拉動作用。測算的核心思路為:1)通過日活用戶數或日均token消耗量對併發任務數量進行預估;2)對任務按複雜度進行核心參數分配,包括任務佔比,佔用核數,調用agent數量等;3)分四種情況計算對應CPU核數需求;4)測算所需CPU數量。

圖表12:Agentic AI對CPU額外需求測算

資料來源:各公司官網,中金公司研究部

  • 結構:CPU應用場景需求進一步細化

從技術發展趨勢看,作為新操作系統的「調度器」CPU的升級趨勢主要有:1)更強的單核性能來降低單次推理的延遲,2)更大的內存帶寬和更強的I/O能力來調度更長的上下文以及管理海量的數據,3)更多核心數來支持高併發查詢及虛擬化。

圖表13:Agentic AI下數據中心CPU三大應用場景

資料來源:各公司官網,中金公司研究部

價格趨勢:短期供需失衡,服務器CPU有望持續漲價

由於CPU產能分配存在一些模糊性,因此缺乏CPU供給側的較好測算,但從定性視角看,Agentic AI等需求對CPU的拉動還在持續增長,因此CPU市場出現了一定程度缺貨漲價。

受供需缺口影響,我們認為2026年服務器CPU漲價趨勢可持續。截至2026年5月,我們觀察到Intel服務器CPU在2月、3月已經歷了兩次漲價,漲幅在5-15%之間,同時部分型號CPU交期還在持續拉長,側面體現了對CPU的需求增長。

► 需求側來看,如前所述,主要受益於AI推理需求增長,同時通用型服務器面臨更新換代的需求,我們預計2026年全球服務器出貨量有望按年增長近20%,未來Agentic AI有望拉動AI及配套服務器需求的加速增長。

► 供給側來看,AMD和Arm均採用台積電先進製程代工,結合GPU、ASIC等算力芯片需求持續上修,台積電2-5nm製程訂單需求旺盛,產能擴張較為有限,我們預計供需缺口將持續至27年。目前來看,AMD CPU27年產能供給仍有一定彈性。根據陳立武5.19JPM大會發言,英特爾18A良率每月穩步提升,有望在26年底前實現成熟良率目標。結合來看,我們預計供需缺口將持續至27年,2026年服務器CPU有望迎來進一步漲價。

此外,受益於服務器CPU旺盛的需求,服務器CPU配套芯片,如PCIe retimer、PCIe switch以及內存接口芯片等細分賽道,亦值得關注。

圖表14:Intel產能預計

注:綠色為目前主力產能,統計截至1Q26

資料來源:Intel官網,中金公司研究部

長期趨勢:推理架構正從「GPU附屬CPU」轉向「CPU強綁定集群」

未來十年,數據中心CPU的演進路徑不太可能回到單純追求頻率或核心數擴張的傳統邏輯,而將圍繞三條主線展開:數據帶寬能力提升、任務分工專業化,以及與加速器的深度融合。

► CPU 將進一步向高帶寬數據設備演進。隨着 AI 負載從單次張量計算擴展至大規模上下文管理與狀態維護,我們預計內存通道數量、內存帶寬密度和緩存容量的重要性將持續上升。LPDDR 在數據中心的採用、SOCAMM 模組的發展,以及更高通道數 DDR 設計,均指向一個方向:隱藏內存延遲、提升帶寬密度、支撐大容量上下文成為核心目標。我們認為未來競爭焦點將不再僅是每核心性能,而是數據 fabric 組織能力與片上網絡帶寬。

► CPU 將持續分化以匹配不同工作負載,朝三類方向並行發展:1)高單核性能、高內存帶寬、與 AI 加速器保持一致性互連的緊耦合型 CPU;2)面向 KV-cache 管理、網絡分層與數據路徑處理的 DPU/數據平面型 CPU; 3)高核心密度、重吞吐的雲型 CPU。這種分化說明 CPU 並未被 GPU 替代,而是在 AI 體系中承擔更專業化的角色。

圖表15:NVIDIA BlueField-4將Grace CPU與NIC協同封裝

資料來源:英偉達官網,SemiAnalysis,中金公司研究部

圖表16:英偉達發布Vera CPU機櫃

資料來源:英偉達官網,中金公司研究部

► CPU 與加速器的邊界可能進一步模糊。APU架構(如集成 CPU + GPU 的設計)可能減少獨立 head node 的需求;部分 RL 訓練負載可能遷移至具備本地環境執行能力的專用加速器;同時,內存池化與 CXL 擴展可能降低傳統每機架必配獨立 CPU的綁定比例。從更長遠角度看,CPU 甚至可能嵌入交換芯片或數據中心網絡核心之中,成為數據流調度的基礎控制單元。

我們認為,未來CPU的價值不在於替代GPU,而在於承載系統複雜性。在 AI 2.0 時代,模型能力的提升帶來更多交互、更長上下文與更多外部調用,CPU 作為通用執行與控制單元,仍將是維持系統可擴展性的基礎組件。其形態可能變化,但其在計算體系中的核心地位不會消失。

競爭格局:X86 VS Arm,誰將勝出?

X86 VS Arm:X86 份額領先,Arm有望加速追趕

目前,全球服務器CPU市場中Arm市佔率不到20%,仍以x86架構為主。

X86 vs Arm:x86生態成熟度仍較為領先,Arm在雲端推理份額預計將持續增長。Agent類產品擁有高併發、持續運行、大量輕量級推理請求(比如多輪對話、工具調用、規劃推理等)的特點,ARM精簡指令集的功耗效率佔優,可以支持更多核心處理併發請求,適用於高吞吐的推理serving。

x86在生態成熟度上仍然保持領先的優勢。大量推理框架在x86上優化更成熟,部分指令集對矩陣運算有專門的加速,因此我們認為對於較大模型的運行、混合精度計算或和傳統軟件棧深度集成的場景下,x86的兼容性和工具鏈優勢明顯。

總結來說,Arm架構的CPU因為高能效比在CSP中獲得大規模部署,為CSP自有業務、有能力為Arm架構進行軟件優化的客戶提供更具性價比的選擇;x86 CPU的服務器具有更完整的生態和極強的兼容性,對中小型企業意味着開箱即用的通用性與最低的遷移摩擦,具有廣泛而穩定的需求。我們預計隨着Agentic AI帶動AI服務器CPU配比的提升,以及ARM在CSP廠商及企業級客戶的持續突破,在2030年全球服務器CPU市場中佔比有望接近一半。

圖表17:x86 vs ARM市場規模預測及份額

資料來源:IDC,中金公司研究部

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10