Tether 開源 TurboQuant,本地 AI 設備 KV 緩存壓縮比最高可達 5 倍

鏈捕手
昨天

ChainCatcher 消息,Tether AI 研究團隊宣佈開源 TurboQuant 生產版本,並將其集成至 QVAC SDK 0.12.0。

TurboQuant 源自 Google Research 的內存壓縮算法,可將 AI 運行時的 KV 緩存壓縮最高 5 倍,同時保持接近未壓縮模型的輸出質量。

這意味着筆記本電腦、手機及邊緣設備在無需將數據上傳至雲端的情況下,可處理更長的對話、更大的文件及更復雜的任務。

此次開源發布包含完整量化流水線、主流推理框架適配器及開發者文檔,面向在消費級硬件、邊緣設備及點對點網絡上部署 AI 的開發者和初創團隊。

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10