ChainCatcher 消息,Tether AI 研究團隊宣佈開源 TurboQuant 生產版本,並將其集成至 QVAC SDK 0.12.0。
TurboQuant 源自 Google Research 的內存壓縮算法,可將 AI 運行時的 KV 緩存壓縮最高 5 倍,同時保持接近未壓縮模型的輸出質量。
這意味着筆記本電腦、手機及邊緣設備在無需將數據上傳至雲端的情況下,可處理更長的對話、更大的文件及更復雜的任務。
此次開源發布包含完整量化流水線、主流推理框架適配器及開發者文檔,面向在消費級硬件、邊緣設備及點對點網絡上部署 AI 的開發者和初創團隊。