【科技纵览】当你在不同会话中反复纠正同一个错误,却眼睁睁看着模型再次踩坑时,那种无力感或许正是当前大模型应用的痛点。主流外挂检索方案仅能翻查静态备忘录,无法将调教过程转化为行事默契,这构成了私人助理进化的核心门槛。针对这一割裂现状,记忆张量今日正式开源 MemT 1.0 记忆原生大模型,其突破在于让记忆脱离外挂模块,内化进底层架构,使模型具备自主读写、更新及调用记忆的能力。
传统方案常将聊天记录视作记忆,但这难以应对动态交互。在技术报告披露的测试中,面对跨度长达五百多轮、约 6.6 万 token 的对话,且期间未再提及展览细节,MemT 1.0 在完全脱离原始文本的「闭卷」状态下,仍能准确报出原定与改期时间,清晰区分周日定论与周一备选。这种能力源于其独特的架构设计:主干网络承载通用认知,而独立的动态记忆状态则随交互轨迹实时演进。通过 token 级别的更新机制与门控决断,模型能在每轮对话后刷新记忆,利用并行记忆注意力机制提取沉淀状态引导决策。
为打磨这套机制,团队投入 340 亿 token 数据,先进行 200 亿 token 继续预训练,再用 140 亿 token 后训练由教师模型打分纠错。配合 Mixture-of-Storage(MoS)架构,MemT-1.0 在 11 项基准测试中表现优异,其中 MemT-1.0-Nano 均分达 47.0,领先同组最强参数化基线 8.9 分。消融实验证实,若移除后训练步骤,Nano 均分将跌至 36.3;扩充 MoS 专家至 4 个,均分最高提升 2.7 分。此外,模型展现了良好的边界感,如面对未提供的生日信息如实回答不知,或在长对话中精准核对规则判定资格,体现了“知之为知之”的可靠性。
更关键的是自我持续进化能力。在真实编程场景中,团队构建了从反馈到经验沉淀的闭环。通过在卡壳点注入匹配经验并重跑,筛选出 4.2 万余条有效样本训练 Nano 模块。在 SWE-bench Verified 测试中,提前写入经验的 Nano 平均成功率升至 69.33%,三次全成率达 61.60%,优于直接塞入文本经验的对照组。而在实战模式下,系统仅在报错或循环时触发记忆更新,此举将平均成功率推高至 69.73%,三次全成率提升至 62.80%,同样跑赢文本经验组。在涵盖九种语言的多语言测试中,动态触发机制也使成功率从 60.00% 跃升至 63.56%。
工程成本方面,固定体积的记忆状态大幅降低了边际成本。在双 GPU 单并发条件下,处理 64K 历史时 Nano 推理速度比完整上下文方案快 1.20 倍;随着历史长度增至 128K 和 256K,加速比分别达到 1.86 倍和 3.99 倍。存储开销仅为 KV cache 的六十六分之一。这使得高频跨周期应用成为可能,无论是企业研发中的规范复用,还是长期的个人数字分身,MemT 1.0 都通过纵向的时间维度重塑了模型陪伴价值。当模型开始在时间里攒下经验,人与 AI 的关系便从单次交互转向了深度磨合,这种基于记忆原生的壁垒,或许是 2026 年最具竞争力的未来形态。
记忆张量开源MemT 1.0:让AI从“健忘”走向“养成系”智能
科技区角
2026-10-20 13:30
关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。