Tether 开源 TurboQuant,本地 AI 设备 KV 缓存压缩比最高可达 5 倍

链捕手
昨天

ChainCatcher 消息,Tether AI 研究团队宣布开源 TurboQuant 生产版本,并将其集成至 QVAC SDK 0.12.0。

TurboQuant 源自 Google Research 的内存压缩算法,可将 AI 运行时的 KV 缓存压缩最高 5 倍,同时保持接近未压缩模型的输出质量。

这意味着笔记本电脑、手机及边缘设备在无需将数据上传至云端的情况下,可处理更长的对话、更大的文件及更复杂的任务。

此次开源发布包含完整量化流水线、主流推理框架适配器及开发者文档,面向在消费级硬件、边缘设备及点对点网络上部署 AI 的开发者和初创团队。

免责声明:投资有风险,本文并非投资建议,以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请,作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考,不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证,投资者应自行研究并在投资前寻求专业建议。

热议股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10