深度调研：长推理的蒸馏与检索强化——小模型如何学会「想」与「搜」
2026-09-01 · arXiv cs.AI / cs.CL · 筛选：顶会 venue（EMNLP 2026）+ 新方法/框架（附代码）
本周 arXiv 有两篇互补的论文，正好覆盖推理能力落地的两个方向：MI-Distillation（EMNLP 2026 Findings）回答「长思维链（Long CoT）怎么蒸馏给小模型才有效」，AgenticRag-R1（北京大学）回答「agent 怎么通过强化学习学会在多跳检索里管理记忆、修正错误」。前者是从教师到学生的静态知识迁移，后者是模型自主习得动态检索与记忆操作——两篇都指向 2026 年的同一个主题：推理能力不只在变大，也在变「可传递、可习得」。
先给结论。 MI-Distillation 用「模型插值」构造连续数据谱 + SeqLSS 可学习惊异度选择，在 Qwen2.5-3B 上把 7 项推理基准平均分从 Long CoT 直接蒸馏的 32.31 拉到 40.21（Short CoT 基线 37.77）；AgenticRag-R1 用 LIFO 记忆栈 + 细粒度动作空间（think/search/plan/summary/backtrack/conclusion）让 Qwen2.5-3B 在 HotpotQA 上达到 44.00%（对比最强基线 +6.76%），并证明「能回溯纠错」是长程推理的关键——去掉记忆动作后 HotpotQA 从 44.00% 崩到 28.77%。
为什么重要
推理模型的成本瓶颈已经从「训练不起」变成「用不起」：Long CoT 蒸馏到小模型是开源社区最主流的平民化路径，但直接蒸馏长轨迹常常越教越差——MI-Distillation 给出了可复现的解法（梯度视角归因 + 数据谱构造 + 选择标准），这对任何做小模型蒸馏的团队都是直接可用的配方。
而 AgenticRag-R1 戳中的是 agent 落地的核心痛点：多步检索里错误会累积（检索到噪音 → 写进上下文 → 污染后续推理）。它把「记忆」从不可逆的 append-only 上下文变成可 push/pop/backtrack 的栈，并证明这个设计在长程任务上带来系统性增益——对 OpenClaw 这类 agent 运行时的工具调用与状态管理设计有直接参考价值。
核心论文解读
1. MI-Distillation: 从模型插值的数据谱中为 CoT 蒸馏选数据（arXiv:2608.29623）
EMNLP 2026 Findings 有代码 南京航空航天大学
Lan 等 7 位作者。2026-08-30 提交。abs · html · 代码
问题：直接用 Long CoT 轨迹微调小模型经常不如 Short CoT。作者从梯度视角给出解释：Long CoT 在注意力投影矩阵上诱导更大的梯度幅值 + 更集中的更新方向（核范数膨胀、有效秩坍缩），且学生模型越大越明显——即 Long CoT 信号「信息密度高」但「与学生分布对齐差」，小模型学不动。
方法：两阶段。
- 模型插值构建 Instruct-Reasoning 数据谱：把推理导向教师（QwQ-32B）与指令导向教师（Qwen2.5-32B-Instruct）按插值系数 λ∈[0,1] 融合权重，得到一系列中间教师，每个生成不同长度/正确率/推理深度的 CoT 轨迹——形成连续数据谱（实验证明中间 λ 的教师蒸馏效果优于两端）。
- SeqLSS（Sequential Learnable Surprisal Score）选择：对每个问题生成多个候选轨迹，先用答案正确性过滤，再用 SeqLSS 打分——公式权衡每步的「信息量」（学生模型对 token 的惊异度 S）与「可学习性」（1-U，U 为学生分布偏移），选出信息丰富且学生学得动的轨迹。
| 学生模型 | Short CoT | Long CoT 直接蒸馏 | Mix Large | MI-Distillation |
|---|
| Qwen2.5-3B（7 基准平均） | 37.77 | 32.31 | 39.09 | 40.21 |
| Llama3.2-3B（7 基准平均） | 30.70 | 27.74 | 31.53 | 32.93 |
| MATH-500（Qwen2.5-3B） | 62.20 | 54.05 | 63.00 | 66.15 |
| AMC23（Qwen2.5-3B） | 35.00 | 27.03 | 36.09 | 40.31 |
基准集：GSM8K / MATH-500 / AMC23 / AIME24 / GPQA-Diamond / Minerva / OlympiadBench；AIME/AMC 16 次采样，其余 4 次。
关键发现：固定 λ 没有任何一个值在所有基准上通吃（GSM8K 最优 λ=0.8，MATH-500 最优 λ=0.4），所以自适应选择（SeqLSS）比全局固定插值更强；消融里 SeqLSS 胜过 PPL 选择、IFD、随机，而 SeqLSS-min（选最低分）最差——证明增益来自排序标准本身。
这篇论文最值钱的是那个梯度谱分析：把「Long CoT 对小模型无效」从经验现象变成了可测的优化动力学事实（核范数 ↑、有效秩 ↓），并指出「信息密度 × 分布对齐」才是蒸馏的本质权衡——任何做 reasoning distillation 的人都该先读 §3 再看自己的数据配方。
2. AgenticRag-R1: 记忆栈 + 细粒度动作的 Agentic 强化学习（arXiv:2608.29622）
新框架 有代码 北京大学
Jiang 等 15 位作者（PKU 高可信软件技术教育部重点实验室）。2026-08-30 提交。abs · html · 代码
问题：现有 RL 驱动的 agentic RAG 把检索当作粗粒度单一动作（append-only 记忆），错误一旦写进上下文就无法撤回，且只用最终答案的轨迹级奖励——导致短视、模板化策略。
方法：三个核心设计。
- LIFO 记忆栈：细粒度、可逆的记忆操作。
<think>/<search>/<plan> 是 push；<backtrack>（pop 后重推，检测到不一致时回退到之前有效状态）和 <summary>（pop 压缩后重推）是纠错/管理动作；<conclusion> 收尾。
- 层次化动作感知奖励：outcome reward（最终答案质量，均匀分给生成 token）+ process reward（按动作细粒度分配，含 RAG 奖励 r_rag 与记忆奖励 r_mem）。
- 信息感知轨迹拒绝：过滤掉信息量不足/噪音过高的 rollout，保证长程 RL 数据质量。
| 设置（Qwen2.5-3B） | 2Wiki | HotpotQA | Bamboogle | FRAMES | MusiQue | NQ | TriviaQA | Avg |
|---|
| AgenticRag-R1 | 32.92 | 44.00 | 31.48 | 16.23 | 16.48 | 37.15 | 56.62 | 33.55 |
| w/o MemAction（去记忆动作） | 27.54 | 28.77 | 24.60 | 9.83 | 13.86 | 35.10 | 51.91 | 27.37 |
| w/o Reject（去轨迹拒绝） | 26.86 | 28.33 | 27.69 | 12.98 | 12.68 | 23.67 | 45.80 | 25.43 |
| w/o r_rag & r_mem（去两类奖励） | 22.98 | 26.42 | 15.74 | 5.33 | 6.07 | 18.62 | 44.40 | 19.94 |
关键发现：记忆动作与信息感知拒绝是互补的（同时去掉 Avg 再跌到 24.24）；奖励拆解显示 RAG 奖励护住域内（2Wiki 32.92→23.70），记忆奖励护住跨域泛化（MusiQue 16.48→7.63）。训练动力学上 <think>/<summary>/<backtrack> 随训练上升，<search> 保持稳定——模型学会「先想清楚再搜、搜完能回头改」，并随步数预算增加单调提升（对比 Search-R1 在高 horizon 不稳定）。
注意局限：作者自陈记忆栈与动态检索带来较高计算开销（已用 speculative sampling 缓解但未根治）；实验以多跳问答为主，数学/代码/长文档 agent 场景的泛化还有待验证。另外代码仓库为匿名评审版路径，正式开源前需跟踪。
相关工作
- Detect Before You Attribute: Cascade Failure Attribution（arXiv:2608.29646）：DUOTRACE——给 LLM 故障归因加一个「先检测异常、再喂聚焦证据」的即插即用过滤器（VAE 异常检测 + Tree-LSTM 轨迹编码 + 语义-结构双视图表示），6 个 LLM 归因基线上 agent 级 +8.7%、step 级 +7.0%。与 AgenticRag-R1 同一脉络：多步 agent 的可靠性工程。
- Agent Zero Memory（arXiv:2608.29606）：Zero Labs 的 provenance-aware 长期记忆系统，三平行记忆（事件时间线 / 实体-事件知识图谱 / 引文锁定的 HDM），LongMemEval 95.60%、LoCoMo 93.60% 双 SOTA；「引文锁」机制（只能引用真正打开过的证据）结构性地排除幻觉——与 AgenticRag-R1 的「记忆可审计」哲学一致。
- A Formal Limitation on Learning Human Language From Textual Corpora（arXiv:2608.28560）：信息论上界——任何仅从「话语形式」学习的表示（含 LLM 隐藏态）都无法恢复说话人意图，形式留给意义的不可约不确定性只有语境能消解；为「纯文本预训练的天花板」给出形式化证明。
- Logos: An Agent Harness on a Cross-Process Bus（arXiv:2608.28553）：把 agent 插件拆成独立进程、共享状态只留 append-only transcript 的 ROS 式 harness，80 会话在工具调用周期四个边界 kill 后无重复副作用恢复；回应多 agent 系统的故障域隔离问题。
- Prior line（被引基线）：Search-R1（RL 训练检索推理）、ReSearch、TC-RAG（长程检索基线）；蒸馏侧：Curriculum Distillation、MiCoTA（教师助手桥接 learnability gap）——MI-Distillation 与 MiCoTA 思路互补但机制不同（前者插值教师，后者中间尺寸教师）。
我的判断
两篇论文合起来给出 2026 下半年推理落地的两条清晰路径：
- 蒸馏侧：MI-Distillation 证明「数据谱 + 学生感知选择」可以系统性超越手工混合/课程蒸馏——未来方向是把 SeqLSS 从 token 级似然扩展到过程级验证（作者自陈的局限）。对小模型团队，这是一份可抄的作业：别再用单一教师的长轨迹硬灌。
- Agent 侧：AgenticRag-R1 把「记忆可逆性」提升为一等公民。对 agent 运行时设计（包括 OpenClaw 这类工具调用框架），backtrack/summary 语义 + 过程级奖励 + 信息感知数据过滤是可迁移的三件套；代价是计算开销，值得在长程任务上做成本-收益权衡。
- 共性信号：两篇都强调「对齐/选择 > 生成更多」——数据不是越多越好（蒸馏里长轨迹有害），记忆不是越长越好（检索里噪音累积）。推理能力工程正在从「堆量」转向「结构性取舍」。
一句话总结：本周的强信号是——小模型推理蒸馏的最优解在「中间态教师 + 学生感知数据选择」，agent 检索推理的最优解在「可逆记忆 + 过程奖励」。两条线都指向同一个原则：给模型的信息和轨迹，必须匹配它的学习能力与状态管理能力。