记忆张量MemT 1.0发布并开源,长历史推理提速最高近4倍

新浪科技
Oct 21

  新浪科技讯 10月21日晚间消息,记忆张量(MemTensor)正式发布并开源记忆原生基础模型 MemT 1.0 系列,包含 MemT-1.0-Flash 与 MemT-1.0-Nano 两款模型。该系列模型在长历史场景下,端到端推理提速最高近 4 倍,持久化存储较传统完整上下文方案缩减约 130 倍。

  传统方案处理长会话,靠的是把越来越长的历史文本一直带在模型上下文里,聊得越久、成本越高。MemT1.0 的思路是让模型自己“记笔记”:在模型内部加入可训练的记忆模块,每轮交互结束后自动把新信息整理进固定大小的记忆,之后需要时直接“想起来”,而不是每次重新翻记录。模型在 340 亿 token 的训练语料上分两阶段训练:先学会把信息写进记忆,再学会根据记忆回答问题。

  在 11 项记忆基准上,MemT-1.0-Flash 平均得分 50.6,MemT-1.0-Nano 为 47.0,位列本次评估的参数化记忆方法第一、第二,比同类方法最高平均分分别高出 12.5 分、8.9 分;平均表现上与检索增强方案基本持平,且无需在每次查询时现场检索历史资料。同时,挂载记忆并不影响模型通用能力:在干扰信息较多的评测条件下,Flash 的通用能力与挂载记忆前基本持平,部分基准还有提升。

  效率上,历史越长优势越明显:128K 历史下端到端推理提速约 1.86 倍,256K 下约 3.99 倍;查询首字延迟稳定在约 104—112 毫秒,而传统完整上下文方案在 256K 历史下要约 445 毫秒。存储上,256K 历史下每条会话的记忆状态约 40 MiB,较传统方案约 5.06 GiB 缩减约 130 倍。上述优势在长会话、长历史场景最为明显。

  对开发者而言,记忆原生带来的价值可以落在三个层面。一是省成本:长会话不再需要把整段历史反复塞进上下文,推理开销与响应延迟更可预期。二是体验更稳:历史再长,查询首字响应时间也基本保持不变,用户不会“越聊越卡”。三是能力能成长,记忆的保留、更新与调用都由模型在训练中学会,随着交互积累,模型可以真正“记住”经验并在后续任务中复用,为持续学习与自我进化打下基础。

  研发团队表示,后续将提升长期记忆、扩展记忆容量、降低记忆更新成本,逐步迈向能够从交互中持续学习、通过记忆不断进化的智能体,让记忆原生为持续学习及递归自我改进(RSI)提供基础。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10