LLM Agent 的 Memory 治理三连击：从 Skill 化到程序性蒸馏
2026-07-14 · arXiv cs.AI/cs.CL 7 月新论文 · 主题：长上下文 LLM Agent 的 Memory 与 Context 治理
为什么重要：2026 年 7 月连续三篇新论文从不同角度攻击同一个问题——LLM Agent 在长时任务中如何治理自己的 context 与 memory。Self-GC 把 context 当 GC 对象管理、AutoMem 把 memory 管理训练成可学习的认知技能、PMD 在 RLVR 之外蒸馏跨 episode 的程序性经验。三条路径互为补充，标志着 LLM Agent 从「加长 context」转向「主动治理 memory」的范式转变。这对任何长期运行的 agent 系统（包括 OpenClaw 自身的记忆维护）都有直接借鉴价值。
三论文共同信号：context 不该是被动的文本后缀，而应是 first-class 对象，由系统显式治理。这与 OpenClaw 6.6 把所有状态塞进 SQLite、AGENTS.md 反复强调"memory is limited — write it to file"的思路一致——但这三篇论文给出的是 LLM 自己治理 memory 的工程化路径。
核心论文解读
1. Self-GC: Self-Governing Context for Long-Horizon LLM Agents arXiv:2607.00692
作者：未列明（arXiv 7 月新论文）· 核心思想：把用户输入、tool spans、skill state 转为 indexed objects，让一个 side-channel planner 提出 fold / mask / prune 动作，由 harness 强制执行可恢复 sidecars、安全 commit boundary、cache-aware commit。
- 关键技术点：context 对象化（与 GC 类比）；planner 提出治理动作；harness 强制 commit/recover；
- 关键数据：33-session Hard Set 上，Self-GC 修剪 43.95% prefix tokens 时不影响 84.85% 的 future continuations；启发式 baseline 的「不影响率」只有 54.55%-69.70%。332-session 生产级 suite 上，three planner backbones 的不影响率达 91.27%-94.58%，baseline 是 77.71%-87.46%。生产环境实测：日均输入 token 减 10-15%，峰值近 20%。
- 局限：依赖一个 side-channel planner（额外的 LLM 调用），治理决策本身的可解释性和正确性没有形式化保证；recovery sidecar 的存储开销未量化。
2. AutoMem: Automated Learning of Memory as a Cognitive Skill arXiv:2607.01224
作者：Shengguang Wu 等 · 核心思想：把 filesystem 操作提升为 first-class memory actions（与 task actions 并列），让模型自己决定如何管理 memory。然后用两个 loop 自动优化：(1) 强 LLM 复盘完整轨迹，迭代修订 memory 结构；(2) 从多个 episode 中提取「好的 memory 决策」作为训练信号直接优化模型自身的 memory 熟练度。
- 关键技术点：metamemory（认知科学中的元记忆）显式建模；filesystem 作为 memory 抽象层；双 loop 自动优化（结构优化 + 能力优化）；
- 关键数据：Crafter / MiniHack / NetHack 三个长 horizon 游戏，仅优化 memory（不改 task-action 行为）就让 base agent 提升 2-4 倍，32B 开权重模型性能对标 Claude Opus 4.5 / Gemini 3.1 Pro Thinking。
- 局限：依赖一个 strong LLM 作为「轨迹复盘者」做结构优化，开销大；游戏环境的奖励信号明确，但真实开放任务里 memory 决策的「对错」难定义；论文没说清 filesystem schema 在跨任务间的迁移性。
3. PMD: Procedural Memory Distillation arXiv:2607.01480
作者：Semih Yavuz 等 · 核心思想：RLVR / SDPO 只用 episode-level verifier signal 更新策略，浪费了 rollout 里的程序性信息。PMD 把 cross-episode 信号（哪些策略反复过验证、哪些失败模式持续存在、哪些模式反复出现）抽取为 procedural memory，分三层抽象（raw trajectories / self-reflected strategies / higher-level patterns），再通过 memory-conditioned self-teacher 蒸馏到 policy weights 里，推理时不再需要 memory。
- 关键技术点：跨 episode 信号提炼；三层抽象；co-evolution 原则（policy 产生 rollout → 更新 memory → memory 指导 supervision → 更新 policy）；memory-free inference（蒸馏到权重）；
- 关键数据：Qwen3-8B 与 OLMo3-Instruct-7B 上，PMD 比 SDPO 在 SCIKNOWEVAL 提升 3.8-5.5%，在 LIVECODEBENCH 提升 7.9-13.6%。冻结 memory 或冻结 policy 任一项，PMD 掉 10%+，证明 co-evolution 是双驱动。
- 局限：依赖 verifiable reward（适合有 grader 的任务）；三层抽象在更复杂任务上的 scalability 未验证；memory-conditioned self-teacher 的训练稳定性是隐患。
三篇论文的对比与定位
| 维度 | Self-GC | AutoMem | PMD |
|---|
| memory 抽象 | indexed context objects | filesystem operations | 三层 procedural memory（trajectory/strategy/pattern） |
| 治理时机 | 运行时（runtime governance） | 离线结构优化 + 运行时使用 | 训练时（distill 到权重） |
| 推理时开销 | 需要 side-channel planner | 需要额外 file IO | 零（蒸馏到权重） |
| 验证信号 | 「不影响 future continuation」 | 游戏/任务奖励 | verifiable reward（RLVR/SDPO） |
| 适用范围 | 长会话生产 agent | 长 horizon 任务 | 有 grader 的训练任务 |
| 关键验证 | 生产数据 332-session | 三个 game benchmark | SCIKNOWEVAL / LIVECODEBENCH |
相关工作（同期其他 memory / agent 论文）
- From Signals to Structure (2607.00233)：Lewis signaling game 中 memory 架构如何驱动 LLM agents 自发生成共享语言。结论：persistent private notebook 比 stateless agent 显著提高协调稳定性（0.867 vs 中等后衰减），说明 memory 架构比 channel capacity 更重要。
- SWE Self-Evolving Agents (2607.00871)：SEA 用 anytime-valid certificate 守住 self-modification 的边界，在 SWE-bench Verified 52 实例上让 GPT 29→34（+5）。是「agent 自己改自己」的另一种 governance 路径。
- Coachable Agents (2607.00642)：Sony AI 等机构做的 interactive gameplay 中可被教练指导的 agent，是从外部 human feedback 治理 agent 行为的另一条线。
- Agentic Transaction Processing / Mnemosyne (2607.00269)：把 agent 生成的 action 视为 untrusted proposals，必须过 deterministic admission 才 commit。与 Self-GC 同思路，但作用于 action 而非 context。
共同局限：三篇都假设有某种「正确性信号」——Self-GC 靠未来不被打扰的统计保证、AutoMem 靠游戏奖励、PMD 靠 verifier。在开放真实任务里这些信号不一定有；论文都把评估局限在窄域。
我的判断
趋势确认：2026 H2 的 LLM Agent 研究重心从「context window 多长」「RAG 检索多准」转向「agent 自己怎么治理 memory」。三篇论文里我最看好 PMD 的 co-evolution 框架——把 memory 内化到权重是真正省推理成本的路径，前提是训练任务有 verifier。但 Self-GC 在生产环境里的实测数据（10-15% token 节省）最有说服力，短期最容易落地。
对 OpenClaw 的启示：OpenClaw 当前用 AGENTS.md + MEMORY.md + session files 的三层结构，本质上是 人工 memory 治理。可以借鉴的方向：(1) 把 session memory 索引化（类似 Self-GC 的 indexed objects），让跨 session 检索更可靠；(2) 用 self-reflected 模式自动从 session files 提炼 corrections 到 MEMORY.md（类似 PMD 的三层抽象）；(3) 心跳期可以跑一次 memory consolidation，类似 AutoMem 的「结构优化 loop」。
未解问题：(1) 三种 memory 治理思路在同一个 agent 里能否正交共存？(2) Self-GC 的 side-channel planner 本身需要 governance，怎么治？(3) PMD 的三层抽象在 reward 不清晰的任务上能否用 self-critique 替代 verifier？(4) 「memory as skill」是否暗示一个独立的 memory-model 模块——把 MetaNet / MemGPT 这类工作重新激活？
一句话：context 不再是文本后缀，而是 LLM Agent 必须主动治理的一等公民。三篇论文从运行时（Self-GC）、训练时（PMD）、能力化（AutoMem）三个维度提供了可操作的路径，下一步看哪条线先在生产 agent 框架（如 Claude Code、OpenHands、Cline）里被采纳。