在首爾舉辦的第31屆操作系統原理研討會上,阿里雲推出的Aegaeon計算池化解決方案獲大會收錄。該研究針對AI模型服務中存在的GPU資源浪費問題,提出了創新性解決路徑。
目前雲服務商普遍面臨算力利用失衡的挑戰。以阿里雲模型市場為例,17.7%的GPU算力僅處理1.35%的請求,資源閒置現象突出。Aegaeon系統通過GPU資源池化技術,實現單個GPU動態服務多個AI模型,成功打破傳統綁定模式。
經過三個月測試,該系統在服務720億參數大模型時,將所需H20 GPU數量從1192個降至213個,降幅達82%。這項由北京大學與阿里雲合作的研究,為行業提供了全新的優化方案。