隨着人工智能（AI）加速演進，社會對高質量、低成本算力的需求持續攀升，但如何整合不同品牌、不同架構（即「異構」）的國產芯片，一直是制約我國AI產業大規模落地的核心瓶頸。

　　記者從上海人工智能實驗室（上海AI實驗室）獲悉，他們近日正式發布DeepLink混合推理方案，率先實現多元異構芯片的深度混合調度與協同推理。這也是該實驗室繼去年率先攻克國產芯片混合訓練的難題後，在構建我國自主可控、高效協同的算力底座上，再次取得的標誌性突破。

算力重心轉向推理應用

　　隨着AI大模型應用的普及，社會當前的算力需求正逐漸從訓練轉向推理。簡單說，如果大模型的「訓練」是它們在研發階段「寒窗苦讀、習得知識」，那麼「推理」就是它們「學成」後步入社會、為千行百業解決具體問題的過程。當前，伴隨AI應用的爆發，全社會對推理算力的需求，正呈幾何級增長。

　　然而，此前國產算力推理技術，只能支持單一型號芯片的算力調度。由於各芯片廠商缺乏互聯互通的標準，因此異構芯片間調度難、利用率低，難以形成合力。如何突破這一「算力圍城」，成為加速AI全面賦能各行各業的關鍵。

　　「AI模型的推理，其實像是一場足球賽。」上海AI實驗室專家工程師、系統平台中心負責人王輝告訴記者，用單一芯片建設的算力集群，就像是一支由「11個前鋒」或「11個後衛」組成的球隊，雖然單兵素質挺優秀，但由於位置單一、功能重複，面對複雜賽況卻往往難以發揮最大效能。

　　實際上，模型的推理，包含預填充（Prefill）和解碼（Decode）兩個關鍵階段，前者對算力要求極高，後者則對內存訪問性能更敏感。此次上海AI實驗室發布的DeepLink混推方案，首次基於多種國產異構算力，將預填充和解碼進行了分離（PD分離），從而可以將不同的任務，分配給不同型號的芯片，相當於能根據「球員能力」排兵佈陣。

巧妙「佈陣」化解「偏科」難題

　　算力芯片其實都存在一定的「偏科」——有的算力性能強，就好似爆發力突出，適合在推理的「預填充」環節進行「衝擊」；有的存儲性能優秀，如同耐力好，適合擔綱「解碼」任務。

　　王輝表示，根據具體任務需求，選出「最合適球員」的混合組隊模式，可讓國產芯片從過去的單打獨鬥轉向系統性集團作戰。

　　在DeepLink混合推理方案中，上海AI實驗室構建了三大原創技術底座，讓異構的國產芯片可在同一個算力集群中絲滑配合、充分發揮所長。其中，DLSolver（策略求解器）就像是高明的「球隊經理」，可以對不同芯片的能力進行精準評測，為其找到最適合的「場上位置」；DLRouter（智能流量路由）就像球隊教練，能實時調度，確保整個算力集群順暢運轉；DLSlime（異構通信庫）發揮了中場銜接作用，能夠讓不同芯片之間進行高效流量傳輸。

　　實測數據顯示，在千卡規模的推理算力集群中，DeepLink方案較之傳統的單一芯片方案，首字響應時間（TTFT）最大可優化34.5%。這意味着當用戶向AI提問時，它「蹦」出第一個字的速度快了約1/3。同時，其推理吞吐能力提升32%，相當於AI持續輸出答案的過程也提速近1/3。這表明，藉助DeepLink，國產算力集群實現了芯片級的「知人善任」，真正實現了「1+1>2」。

盤活資源賦能「人工智能+」

　　DeepLink混推方案的發布，不僅是一次技術意義上的「登頂」，更有可能對我國AI產業生態帶來積極影響。

　　當前，國內一方面渴求算力，但由於國產算力難以整合，一定程度上還出現了資源閒置的局面。DeepLink的出現，有助於充分挖掘國產芯片的潛力，將其轉化為高價值的算力資源池，從而盤活全國的算力供給。

　　據透露，DeepLink混合推理方案已基本完成對8款國產芯片的適配，包括升騰、沐曦、平頭哥、壁仞等主流品牌，其推理性能平均提升幅度超過20%。這相當於用戶所承擔的算力成本相應地下降了20%以上。

　　由於能有效激活存量算力，國內一些省級算力中心已決定採用這一技術方案。同時，上海AI實驗室還在繼續推動DeepLink混合推理方案與更多國產芯片開展適配，從而將為更多本土芯片企業提供寶貴的發展空間。

　　值得一提的是，去年上海AI實驗室曾推出DeepLink混合訓練方案，成功實現了跨越千公里的多智算中心長穩混合訓練千億參數大模型。此次在「混合推理」上再次突破，意味着他們完成了「訓推一體化」的全方位國產算力賦能體系建設。這將對於有效降低我國對特定算力硬件的路徑依賴、保障國家算力安全、推動「人工智能+」落地，起到重要的基石作用。

（文章來源：上觀新聞）