Meta推出可编辑自身记忆的上下文语言模型

Meta 超级智能实验室和华盛顿大学在 9 月底发表于 arXiv 的一篇论文中介绍了上下文语言模型（CLMs）。该框架允许语言模型编辑自身的工作上下文，而不是依赖外部编排层。这项研究挑战了长时域 AI 代理的主流设计，即由固定的人工工程系统执行上下文管理。CLMs 将实时上下文镜像到一个可编辑文件中，模型可以使用普通代码对其进行重写、删除或重组，并在每一步执行前将更改同步到工作记忆中。这种设计体现了学习应当具备可扩展性，而不是依赖人为设计规则的原则，从而使自适应的记忆管理策略能够从模型自身涌现。

CLMs 在长时域基准测试中胜过固定执行框架

来自 Meta 超级智能实验室、华盛顿大学、MIT 和 Trillium Labs 的研究团队报告称，现有模型在具备零样本上下文编辑能力后，在长时域基准测试中胜过了最先进的上下文管理策略。在深度研究基准 BrowseComp-Plus 上，CLMs 的准确率提高了 11.4%，同时消耗的 FLOPs 减少了 21.5%，表现优于最强基线。在 EdgeBench（一套持续 12 小时的代码库优化测试）中，得分提高了 5%，FLOPs 减少了 59%。在一项持续 24 小时的多代码库代理群体任务中，在计算量相同的情况下，该方法的表现提升了 65%。在数学优化方面，它在多个问题上击败了 OpenEvolve 等专用进化工作流。模型表现出了多种行为，包括为多代理协作维护计分板、定义用于压缩历史记录的辅助函数，以及创建用于记录角色的内部笔记。

强化学习和后缀缓存复用提升效率

上下文编辑可以成为一种能够学习的内在模型行为。研究人员展示了两种实现路径：用户可以通过一条自然语言指令引导记忆策略，而技能演化循环则可以发现文本形式的可复用上下文管理流程，使诊断基准 ContextBench 的留出准确率最高提升 35.9 个百分点，同时减少计算量。作者为 CLMs 引入了一种在线强化学习方案，该方案基于逐步 GRPO，并采用成功门控的效率优势。将其应用于 Qwen3.5-9B 的深度研究任务后，BrowseComp-Plus 的准确率提高了 47.6%，同时使用的 FLOPs 减少了 12%。

服务仍然是瓶颈：任意编辑都会使标准前缀缓存失效，迫使系统对未更改的文本进行成本高昂的重新预填充。该团队共同设计了后缀缓存复用机制，在编辑后复用保留下来的令牌缓存状态，同时重新旋转位置编码。将其集成到 SGLang 后，在性能相当的情况下，服务器端计算量减少了 35%，任务准确率不受影响。作者指出了相关安全影响：可编辑上下文会创建一个通道，使提示注入或模型自行生成的指令能够跨轮次持续存在。未来的工作包括扩展 CLM 强化学习，以及将现有执行框架中的策略直接蒸馏到模型权重中。

常见问题

Meta 和华盛顿大学在 9 月底介绍了什么？

Meta 超级智能实验室和华盛顿大学在 9 月底发表于 arXiv 的一篇论文中介绍了上下文语言模型（CLMs）。该框架允许语言模型使用普通代码编辑自身的工作上下文。

CLMs 在 BrowseComp-Plus 基准测试中的表现如何？

在 BrowseComp-Plus 上，CLMs 的准确率提高了 11.4%，同时消耗的 FLOPs 减少了 21.5%，表现优于最强基线。在同一基准测试中，将强化学习应用于 Qwen3.5-9B 后，准确率提高了 47.6%，同时使用的 FLOPs 减少了 12%。

后缀缓存复用带来了怎样的效率提升？

集成到 SGLang 后，后缀缓存复用在性能相当的情况下将服务器端计算量减少了 35%。该优化没有影响任务准确率。