英偉達DGX GB300,業界傳出目標9月出貨,一座機櫃(Rack)單價上看400萬美元,價格比上一代貴30%,隨超級芯片Superchip能耗達1.4KW,DLC(直接液冷)成主流散熱方案,反觀浸沒式液冷技術前幾年高聲量,今年只剩殘響,可以確定是AI芯片功耗破千W,下世代散熱技術成爲焦點。
GB300 NVL72機櫃總能耗約120-130KW,一臺服務器中的Cuperchip能耗1400W,比上一代DGX GB200 NVL72的單顆Superchip能耗1200W要高10%,由於AI處理器耗能破千瓦,氣冷已不足化解,DLC直接液冷方案今年取代氣冷成AI服務器主流。
緯穎、美超微、佳世達集團其陽,今年都着重新散熱技術發佈。其陽董事長曾文興表示,散熱技術是未來的趨勢,特別是考量到未來的CPU和GPU的功耗會越來越高,例如,明年的CPU可能達到 650W,NVIDIA和AMD的GPU會更熱達到1000W以上。
由於屬於AI服務器供應鏈後進者,其陽投資1億多元設立實驗室,跟策略夥伴合作散熱方案,一次直接跨入雙向浸沒式(2PIC)及2P-DLC(雙向直接液冷)方案,打造PUE1.02數值散熱解決方案,要彎道超車切入市場。
緯穎跟與美國3D打印公司Fabric 8 Labs合作,開發雙面水冷板,可以解單顆超級芯片4KW熱能,緯穎表示,這是由於GPU或ASIC未來愈來愈熱,所以投入前瞻技術研發,通過3D打印方式製造水冷板,未來芯片的電源零件將設計在背面,故設計雙面水冷板,以正面解熱3.5KW,背面500W方式,達到散熱。
除此之外,緯穎也跟Shinwa合作開發水對氣Sidecar,該機櫃可以解除200KW熱能,遠高於GB300機櫃的120KW,爲未來超級芯片功耗成長做準備。
美超微總裁梁見後宣佈第二代液冷方案PG DLC-2,整座機櫃以前置IO埠設計,比第一代PG DLC-1前置液冷方案散熱效果高又方便維修,減少耗水跟耗電40%,更安靜,今年開始出貨,DLC-2內部液體是美超微歷時10個月研發,Inrow CDU能解高達250KW熱能,同時今年也有HGX NVL4 GB200及DGX Station等新品。
前三年浸沒式液冷享有極高聲量,但今年較少討論,根據分析,導入驗證時間太長,數據中心機房的基礎建設跟氣冷不同,所用液體生產過程有環保爭議,維修難度高,四個原因使其尚未變主流。
緯穎過去對浸沒式水冷速度最快最積極的服務器大廠,不過今年Computex沒有聲音,緯穎指出,客戶對DLC相關方案的態度有高度興趣,一家大客戶的浸沒式方案進展也放緩,今年液冷方案會以單向DLC爲主,公司分析單向日後更升級雙向DLC方案只要換液體,不需改動硬件架構還有升級空間。
其陽的雙向式浸沒液冷方案已經獲得美國挖礦客戶POC驗證中,目前進行7-8個月,公司預估完全落地要18個月左右,而-該客戶近期也表達評估雙向DLC直接液冷方案的可行性。在英偉達主導下,DLC在一兩年內仍將是AI服務器主流散熱技術。