顯著提升GPU利用率！阿里雲AI基礎設施成果入選頂會

阿里雲

2025/10/16

近日，阿里雲提出的GPU池化服務多模型研究成果成功入選頂級學術會議SOSP 2025，該研究提出多模型混合服務系統Aegaeon，可大幅提升GPU資源利用率，目前其核心技術已應用在阿里雲百鍊平台。SOSP（操作系統原理研討會）由ACM SIGOPS主辦，是計算機系統領域頂級學術會議，平均每年收錄的論文數量僅有數十篇，被譽為計算機操作系統界的「奧斯卡」，入選論文代表了操作系統和軟件領域最具代表的...

網頁鏈接

免責聲明：投資有風險，本文並非投資建議，以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請，作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考，不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證，投資者應自行研究並在投資前尋求專業建議。

熱議股票

{"basename":"/hant","ssrTDKData":{"titleTemplate":"%s - 老虎證券","title":"澳洲华人首选美澳港股一站式交易平台 | 老虎证券","description":"澳、美、港、A股、ETF、期权一站式在线交易，超低佣金，新手也能轻松开启投资。在老虎证券， 1 美元起投资美股，24/5 无时差交易美股，澳大利亚华人信赖的在线炒股平台。","keywords":"老虎证券,老虎证券澳洲,老虎证券股票,老虎证券开户,老虎证券app,tigertrade老虎证券,股票,asx美股,炒股,券商,澳洲股票交易,澳大利亚炒股","social":{"ogDescription":"澳、美、港、A股、ETF、期权一站式在线交易，超低佣金，新手也能轻松开启投资。在老虎证券， 1 美元起投资美股，24/5 无时差交易美股，澳大利亚华人信赖的在线炒股平台。","ogImage":"https://c1.itigergrowtha.com/portal5/static/media/og-logo.be62fbe1.png","ogUrl":"https://www.itiger.com/hant/news/2575794782"},"companyName":"老虎證券"},"pageData":{"isMobile":false,"isTiger":false,"isTTM":true,"region":"AUS","license":"TBAU","edition":"fundamental"},"isCrawlerRequest":true,"__swrFallback__":{"@#url:\"https://stock-news.skytigris.cn/v3/news\",params:#id:\"2575794782\",edition:\"fundamental\",auth_exemption:1,,,undefined,":{"share":"https://ttm.financial/m/news/2575794782?lang=zh_TW&edition=fundamental","thumbnail":"","is_english":false,"pubTime":"2025-10-16 14:03","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2575794782","market":"us","top_or_hot":-1,"title":"顯著提升GPU利用率！阿里雲AI基礎設施成果入選頂會","media":"阿里雲","content":"<div>\n<p>近日，阿里雲提出的GPU池化服務多模型研究成果成功入選頂級學術會議SOSP 2025，該研究提出多模型混合服務系統Aegaeon，可大幅提升GPU資源利用率，目前其核心技術已應用在阿里雲百鍊平台。SOSP（操作系統原理研討會）由ACM SIGOPS主辦，是計算機系統領域頂級學術會議，平均每年收錄的論文數量僅有數十篇，被譽為計算機操作系統界的「奧斯卡」，入選論文代表了操作系統和軟件領域最具代表的...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251016141650a6bc7d19&s=b\">網頁鏈接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>顯著提升GPU利用率！阿里雲AI基礎設施成果入選頂會</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 12.5px; color: #7E829C; margin: 0;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n顯著提升GPU利用率！阿里雲AI基礎設施成果入選頂會\n</h2>\n<h4 class=\"meta\">\n<p class=\"head\">\n<strong class=\"h-name small\">阿里雲</strong><span class=\"h-time small\">2025-10-16 14:03</span>\n</p>\n</h4>\n</header>\n<article>\n<div>\n<p>近日，阿里雲提出的GPU池化服務多模型研究成果成功入選頂級學術會議SOSP 2025，該研究提出多模型混合服務系統Aegaeon，可大幅提升GPU資源利用率，目前其核心技術已應用在阿里雲百鍊平台。SOSP（操作系統原理研討會）由ACM SIGOPS主辦，是計算機系統領域頂級學術會議，平均每年收錄的論文數量僅有數十篇，被譽為計算機操作系統界的「奧斯卡」，入選論文代表了操作系統和軟件領域最具代表的...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251016141650a6bc7d19&s=b\">網頁鏈接</a>\n\n</div>\n\n<div class=\"bt-text\">\n\n\n<p> 來源：<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251016141650a6bc7d19&s=b\">阿里雲</a></p>\n<p>為提升您的閱讀體驗，我們對本頁面進行了排版優化</p>\n\n\n</div>\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"LU1048588211.SGD","symbol_name":"Blackrock Asian Dragon A2 SGD-H","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251016141650a6bc7d19&s=b","article_id":"2575794782","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251016141650a6bc7d19&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2575794782","pubTimestamp":1760594588,"columns":[],"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"近日，阿里雲提出的GPU池化服務多模型研究成果成功入選頂級學術會議SOSP 2025，該研究提出多模型混合服務系統Aegaeon，可大幅提升GPU資源利用率，目前其核心技術已應用在阿里雲百鍊平台。本屆SOSP大會僅收錄66篇論文，關於系統軟件與AI大模型技術的融合研究成為新的趨勢。Aegaeon中對多模型的服務過程主要設計以下三個組：代理層、GPU池與內存管理器。GPU池作為個資源池，包含了組由雲提供商虛擬化的GPU實例。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"LU1048588211.SGD":"Blackrock Asian Dragon A2 SGD-H","BK4548":"巴美列捷福持仓","LU1051768304.USD":"贝莱德新兴市场股票收益A6","LU0979878070.USD":"FULLERTON LUX FUNDS - ASIA ABSOLUTE ALPHA \"A\" (USD) ACC","LU1688375341.USD":"贝莱德中国灵活股票基金","LU0072462343.USD":"贝莱德亚洲巨龙基金","LU1823568750.SGD":"Fidelity Global Technology A-ACC SGD","BK4565":"NFT概念","LU1008478684.HKD":"UBS (LUX) EQUITY FUND -  CHINA OPPORTUNITY \"P\" (HKD) ACC","LU0072913022.USD":"UBS (LUX) EQUITY FUND -  GREATER CHINA \"P\" (USD) ACC","LU1152091754.HKD":"UBS (LUX) EQUITY FUND - CHINA OPPORTUNITY (USD) \"PM\" (HKD) INC","LU0797268264.HKD":"ALLIANZ TOTAL RETURN ASIAN EQUITY \"AT\" (HKD) ACC","LU1003077747.HKD":"BGF GLOBAL EQUITY INCOME \"A6\" (HKDHDG) INC","LU1515016050.SGD":"Blackrock Emerging Markets Equity Income A6 SGD-H","BK4220":"综合零售","LU0553294199.USD":"BGF GLOBAL EQUITY INCOME \"A5G\" (USD) INC","LU0880133367.SGD":"UBS (LUX) EQUITY FUND CHINA OPPORTUNITY USD \"P\" (SGD) ACC","BK4524":"宅经济概念","BK4554":"元宇宙及AR概念","BK4581":"高盛持仓","LU1105468828.SGD":"Allianz Total Return Asian Equity AM DIS H2-SGD","LU0661504455.SGD":"Blackrock Global Equity Income A5 SGD-H","LU0918141887.USD":"安联亚洲实际收益股票基金","LU0918141705.HKD":"ALLIANZ TOTAL RETURN ASIAN EQUITY \"AM\" (HKD) INC","LU0738911758.USD":"Blackrock Global Equity Income A6 USD","LU1235294995.USD":"FIDELITY GLOBAL TECHNOLOGY \"A\" (USDHDG) ACC","LU1769817096.USD":"UBS (LUX) EQUITY SICAV - GLOBAL EMERG MARKETS OPPO \"P\" (USD) INC","BK4534":"瑞士信贷持仓","BK4585":"ETF&股票定投概念","LU0106959298.USD":"UBS (LUX) EQUITY FUND - EMERGING MARKETS SUSTAINABLE LEADERS (USD) \"P\" (USD) ACC","IE00BFMHRM44.USD":"NEUBERGER BERMAN GLOBAL EQUITY MEGATRENDS \"A\" (USD) ACC","LU0821914370.USD":"贝莱德亚洲成长领袖A2","BK4533":"AQR资本管理(全球第二大对冲基金)","LU1267930227.SGD":"TEMPLETON GLOBAL BALANCED \"AS\" (SGD) ACC A","BK4575":"芯片概念","09988":"阿里巴巴-W","BABA":"阿里巴巴","BK4558":"双十一","BK4502":"阿里概念","LU1046421795.USD":"富达环球科技A-ACC","BK4505":"高瓴资本持仓","BK4535":"淡马锡持仓","LU0047713382.USD":"BGF EMERGING MARKETS \"A2\" ACC","BK4538":"云计算","BK4504":"桥水持仓","LU0310800965.SGD":"FTIF - Templeton Global Balanced A Acc SGD","LU1242518931.SGD":"Fullerton Lux Funds - Asia Absolute Alpha A Acc SGD","LU1051769294.HKD":"BGF EMERGING MARKETS EQUITY INCOME \"A6\"(HKDHDG) INC","BK4588":"碎股"},"translate_title":"Significantly improve GPU utilization! Alibaba Cloud AI infrastructure achievements selected for the top conference","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"09988":0.6,"BABA":0.9,"ALBmain":0.6},"content_text":"近日，阿里雲提出的GPU池化服務多模型研究成果成功入選頂級學術會議SOSP 2025，該研究提出多模型混合服務系統Aegaeon，可大幅提升GPU資源利用率，目前其核心技術已應用在阿里雲百鍊平台。SOSP（操作系統原理研討會）由ACM SIGOPS主辦，是計算機系統領域頂級學術會議，平均每年收錄的論文數量僅有數十篇，被譽為計算機操作系統界的「奧斯卡」，入選論文代表了操作系統和軟件領域最具代表的研究成果。本屆SOSP大會僅收錄66篇論文，關於系統軟件與AI大模型技術的融合研究成為新的趨勢。# 研究背景全球模型的數量仍在持續增長，據統計，Hugging Face已託管了超100萬個模型。在真實服務場景中，少量熱門模型佔據了總請求的絕大部分，而超過90%的模型則調用頻率較低。當前的事實標準解決方案是為每個模型至少預留一個推理實例，這造成了GPU資源的大量浪費。# 研究方案研究團隊在論文中創新性提出多模型混合服務系統Aegaeon，一個實現了token 級多模型混合服務的方法，以實現同時服務眾多LLM時提供更高的GPU利用率。Aegaeon中對多模型的服務過程主要設計以下三個組：代理層、GPU池與內存管理器。圖｜研究框架圖代理層（Proxy layer）。代理層負責接收和分發推理requests，確保負載均衡和容錯能⼒，狀態同步是通過共享內存機制實現的，例如Redis。Aegeeon可以將不同模型的requests分發到同⼀個實例。GPU池（GPU pool）。GPU池作為⼀個資源池，包含了⼀組由雲提供商虛擬化的GPU實例。每個實例可能包含託管在⼀台物理機器上的⼀個或多個GPU。在Aegaeon中，單個實例執⾏預填充（prefill）或解碼（decoding）作業，並且可以在token級調度器的指導下，為不同模型的requests提供服務。這使得模型切換成為⼀個關鍵操作。內存管理器（Memory manager）。內存管理器在服務集羣中協調每個節點的主機內存和空閒GPU內存，⽬的有兩個：1）QuickLoader利⽤可⽤內存來緩存模型權重，加速從遠程模型倉庫獲取模型的耗時過程；2）GPU-CPU KV管理機制統一存儲和管理KV緩存。# 研究創新點與結論Aegaeon多模型混合服務系統，首次將調度實現在token級別，在每次生成完下一個token之後，都可通過精確的執行時間預測和創新的token級調度算法規劃是否需要切換模型，從而實現多個模型混合服務且滿足延遲要求。同時，通過組件複用、顯存精細化管理和KV緩存同步優化等全棧技術，Aegaeon將模型切換開銷降低97%，確保了token級調度的實時性，可支持亞秒級的模型切換響應。Aegaeon系統支持單GPU同時服務多達7個不同模型，相比現有主流方案提升1.5-9倍的有效吞吐量，實現2-2.5倍的請求處理能力。圖｜Aegaeon顯著提升GPU利用率# 成果應用目前，Aegaeon核心技術已在阿里雲百鍊平台部署，服務數十個模型的推理，將服務這些模型所需的GPU數量減少了82%。截至目前，阿里雲百鍊平台已上線Qwen、Wan、DeepSeek等200多款業界領先的模型，過去一年，阿里雲百鍊平台的模型調用量增長了15倍。","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"1","news_tag":"corporation","news_rank":0,"symbols":[],"gpt_button":0,"need_auth":false,"code":"91000000","status":"200"}}}