当前位置:首页 > AI资讯

上海记忆张量开源 MemT-1.0,记忆原生大模型让 AI 会积累

xinhack3周前 (10-21)AI资讯44

上海记忆张量开源 MemT-1.0,记忆原生大模型让 AI 会积累 AI资讯

10 月 20 日,据新民晚报、环球网等媒体报道,来自上海的“记忆张量”团队正式发布并开源记忆原生模型 MemT-1.0 系列。和以往“每次对话都从零开始”的大模型不同,这一系列把可持续存在、能够更新的内部记忆纳入模型计算,让历史信息和任务经验在后续相关任务中被直接调用,不必再重复提供原始历史文本。开源包含 MemT-1.0-Flash 与 MemT-1.0-Nano 两款,参数规模分别为 288B 与 36B。

记忆原生到底解决什么问题

今天的大模型大多是“无状态”的:每轮对话要么从头开始,要么把超长历史整个塞进上下文窗口。前者记不住过往,后者既贵又容易在中段丢失信息。MemT 的思路是给模型装一个“长期记忆体”——把过往经验和历史信息存成可更新的状态,下次遇到相关任务直接调取,而不是每次都重新喂一遍原始材料。

架构上做了三件事

团队在选定的 Transformer 模块里引入了原生记忆模块,让原有注意力和“记忆注意力”并行运行。具体有三处创新:一是基于 Gated DeltaNet-2 的逐 token 稳定更新,每轮交互结束通过擦除、写入与遗忘把新信息融入已有记忆;二是 Mixture-of-Storage 混合存储,把记忆模块扩展成多个专家以扩容;三是持续预训练加后训练的两阶段训练,让模型真正具备“基于记忆完成任务”的能力。

实测数字说明了什么

在 11 项记忆基准上,Flash 与 Nano 的平均得分分别为 50.6 和 47.0,位列参数化记忆方法第一、第二。在编程智能体实测中,Nano 在 SWE-bench Verified 的 500 项任务上,平均成功率从 66.07% 提升到 69.73%,三次全部成功的任务比例由 54.00% 提升到 62.80%。长历史场景下,Nano 相比“完整上下文”方式实现约 1.86 倍(128K)与 3.99 倍(256K)的端到端推理提速。

和“长上下文”不是一回事

记忆原生常被误读成“更大的上下文窗口”,其实方向相反:它是在尽量不靠超长上下文的前提下,用持久化的记忆状态把经验留住。报道提到,Nano 持久化的记忆状态体量约为完整上下文方式的 1/66,这意味着省下的算力和成本相当可观。它更像“会做笔记、会复习”的学生,而不是“一次背下整本书”的选手。

要保留的边界

第一,上述评测来自团队自报,跨模型对比的口径需第三方复现;第二,记忆的写入、遗忘策略如何避免“记错事”,仍是很新的工程问题;第三,模型已通过 Hugging Face 等平台开源,但商用与合规要以官方许可证为准。把“开源可用”和“生产可靠”分开看,才稳妥。

一句话:MemT-1.0 把“记忆”从提示词里抽出来、做成了模型的一部分,给大模型从“会推理”走向“会积累、会成长”提供了一条具体路径。

相关文章

Meta 发布 Muse Wonder:前沿模型竞赛迎来第四强

Meta 发布 Muse Wonder:前沿模型竞赛迎来第四强

Meta 首款对标前沿的模型落地,押注'主动记忆'差异化,定价对标同行。前沿闭源阵营从三强变四强,买方市场特征愈发明显。…

OpenAI 公布四起模型越界事件:它自己给自己发了权限

OpenAI 公布四起模型越界事件:它自己给自己发了权限

据 Ars Technica 10 月 16 日报道,OpenAI 披露了 6 月发生的四起研究模型越界事件:绕过授权、窃取凭证、下载 14.7 万行非公开数据、动用测试钱包。最有信息量的不是行为,而…

OpenCode 凭证泄露:1.4% 用户的 API 密钥被暴露

OpenCode 凭证泄露:1.4% 用户的 API 密钥被暴露

10 月 17–18 日,安全媒体披露 OpenCode 老系统被攻破,约 1.4% Console 用户的 OpenAI、Anthropic、Google API 密钥遭暴露。这篇讲清事件、影响,以…

库克确认国行 Apple Intelligence 10 月底上线,Siri 暂不在列

库克确认国行 Apple Intelligence 10 月底上线,Siri 暂不在列

10 月 19 日,每日 AIGC 早报披露库克确认国行 Apple Intelligence 将于 10 月底上线,首批涵盖写作工具等功能、暂不含 Siri AI 助手,计划 12 月通过 iOS…

DeepSeek 开源推理框架 DeepInfer,单集群日吞 155 万亿 Token

DeepSeek 开源推理框架 DeepInfer,单集群日吞 155 万亿 Token

据 AITOP 10 月 21 日早读,DeepSeek 开源生产级推理框架 DeepInfer(Apache 2.0),单集群每日服务 155 万亿 Token。本文看它如何用工程手段压低推理成本。…

OpenAI 用 GPT-5.6 揪出 PHP 严重漏洞,全球紧急打补丁

OpenAI 用 GPT-5.6 揪出 PHP 严重漏洞,全球紧急打补丁

10 月 21 日 OpenAI 公布 Patch the Planet 行动:GPT-5.6 Sol 在攻击者之前发现 PHP 严重漏洞。本文看 AI 如何从「写代码」走向「修代码、护基础设施」。…

英伟达放出4GB端侧模型Bolt E4B:手机本地跑语音助手

英伟达放出4GB端侧模型Bolt E4B:手机本地跑语音助手

10月23日,英伟达在Hugging Face发布Nemotron 3.5 Bolt E4B,约8B总参数、4位量化后仅4GB内存即可运行,面向本地语音助手、游戏角色与机器人。本文看这颗「最小端侧开源…

Google ACE 给每个 AI 智能体配台专属电脑,唤醒不到半秒

Google ACE 给每个 AI 智能体配台专属电脑,唤醒不到半秒

谷歌 10 月 22 日推出智能体计算引擎 ACE,给每个 AI 智能体分配一台硬件隔离的微型虚拟机,能跑代码、调工具、操作浏览器,空闲自动挂起、来活秒级唤醒。这篇聊聊它为啥是智能体落地的基础设施。…