11月17日，全球算力運營商乘方科技(北京)有限公司宣佈：其傾力孵化的核心技術項目GPUFabric向全球開源。開源的GPUFabric成為全球首個「AI原生」的分佈式推理交付網絡 (AI Inference Delivery Network)，其設計理念如同「AI推理的CDN」，旨在通過智能路由和P2P技術，以Rust驅動高性能、安全、分佈式的AI推理交付，將AI模型推理能力安全、高效、低延遲地交付給全球用戶，為其開創的「算力銀行」宏偉藍圖和「人人儲算、人人享算」的下一代AI基礎設施提供堅實的技術底座。 　　　　利用開源GPUFabric可把分散在世界各地、藏在內網的AI算力(GPU)輕而易舉地安全地連接起來，組成一個高性能的全球「AI服務網絡」。它使算力提供者能夠輕鬆地向全球分享算力並提供服務，並把AI模型和數據始終留在自己的電腦上，既安全又私密。而對 AI使用者，則無論身在何處，都能享受到離自己最近的、超低延遲的AI推理服務。GPUFabric提供的技術「粘合劑」，使得乘方科技的「算紐算聯儲」平台能將全球加入網絡的、無論是大型數據中心還是個人貢獻者的GPU資源連接起來，形成一個統一的算力池。這不僅為AI開發者提供了更低成本、更低延遲的MaaS (模型即服務) 選擇，也為算力所有者提供了「人人儲算，人人享算」的途徑，最終實現算力資產的數字化流動與全球市場化運作。這無疑領銜了算力分享與AI服務網絡的革命進程。 　　　　隨着大型語言模型(LLM)和生成式AI應用的爆炸性增長，AI推理的需求正從集中的大型數據中心向邊緣和用戶側快速下沉。然而，隨之而來的是高昂的延遲、複雜的數據隱私挑戰以及難以管理的分佈式算力資源。傳統的CDN專為靜態內容設計，無法滿足AI推理這種高動態、高安全、低延遲的計算需求。GPUFabric的誕生正是為了解決這一痛點。它是一個高性能的分佈式AI推理網絡，允許AI模型實例安全地部署在企業私有基礎設施、邊緣節點甚至個人設備上。通過其智能路由核心(服務器調度)和輕量級客戶端Agent，GPUFabric能夠解決以下問題： 　　　　一、智能路由請求：像CDN一樣，自動將用戶的AI推理請求轉發到地理上最近、負載最低的可用模型實例。 　　　　二、保障模型隱私：模型和推理數據始終保留在算力提供者自己的基礎設施中，通過TLS 1.3端到端加密傳輸，確保數據和模型資產的絕對安全。 　　　　三、實現NAT穿透：使處於內網或防火牆後的AI服務(如本地運行的Ollama、vllm)無需公網IP即可安全地對外提供服務。 　　　　以開源技術奠基「算力銀行」宏偉願景。GPUFabric的開源是乘方科技「算力銀行」戰略的關鍵一步。「我們堅信，AI的未來是分佈式的，算力平權是實現這一未來的前提，」乘方科技創始人兼CEO姚俊梅博士表示，「要構建一個全球聯通、全鏈貫通的‘算力銀行’，讓全球分散的GPU資源實現價值最大化，我們就必須有一套統一、高效、安全的‘算力結構網’(Fabric)。GPUFabric就是這套結構網的開源實現。」 　　　　Rust與XDP驅動的極致性能與安全。為滿足企業級AI推理的嚴苛要求，GPUFabric在技術選型上毫不妥協： 　　　　●Rust語言核心：項目基於Rust語言和Tokio異步運行時構建，確保了內存安全、高併發和接近「零成本抽象」的極致性能，實現亞毫秒級的請求路由。 　　　　●XDP內核級防護：在Linux環境下，GPUFabric利用XDP (eBPF) 技術，在網絡驅動程序級別實現內核級包過濾和API密鑰驗證，能以超低延遲抵禦DDoS攻擊，遠在請求到達用戶空間應用之前。 　　　　●多層緩存與認證：系統結合PostgreSQL數據庫、Redis緩存(減少約0%的數據庫負載)和API Key驗證，構建了高效且安全的多層認證體系。 　　　　●異步消息隊列：通過集成Apache Kafka，系統可以異步處理客戶端心跳和請求跟蹤，提高了高併發場景下的系統魯棒性。 　　　　路線圖：邁向P2P混合架構。GPUFabric的未來發展藍圖同樣雄心勃勃。項目路線圖顯示，團隊正在從純粹的客戶端--服務器模型轉向更高效的P2P混合架構。通過集成libp2p庫，利用STUN/TURN/ICE協議實現NAT穿透和自動中繼，GPUFabric將能夠：在用戶和AI 推理節點之間建立P2P直接連接，進一步消除中轉延遲。大幅降低中心服務器的帶寬成本。構建一個更具彈性、可擴展性更強、真正去中心化的分佈式AI計算生態。 　　　　共建下一代AI基礎設施。乘方科技此次將GPUFabric開源，不僅是技術自信的體現，更是對其「連接全球GPU資源，共建下一代 AI基礎設施」理念的踐行。可以預見：全球的開發者、AI研究者、算力提供商以及對分佈式系統感興趣的技術愛好者將加入 GPUFabric社區，共同貢獻代碼、完善文檔、探索應用場景。 　　　　作為全球算力運營商，乘方科技首創了融合「智能算力調度租賃」、「算力資產證券化 (RWA)」及「算力交易」三大功能的「算紐算聯儲 (GPU Nexus)」新模式。