前沿模型后训练管线（Qwen3、GLM-5、DeepSeek-V4、Kimi K3、MiMo 等）已普遍采用 on-policy distillation（OPD），但业界对「需要多少训练数据」「CoT 痕迹能否作为监督/评估信号」这两个基本假设缺乏严格检验。本周两篇论文分别从数据极限与测量可信度两个方向给出反直觉证据：清华等团队发现 OPD 只用 1 条 query 就能恢复全量数据大部分收益；COLM 2026 一篇论文则用强化学习意义上的 advantage 严格度量 CoT 步骤重要性，证明 LLM judge 从文本中几乎无法解码「哪些步骤真正关键」。两者共同指向：后训练与推理评估中依赖文本表面信号的范式，需要重新校准。
cs.AI代码开源清华/中科院/UIUC 等
Rethinking On-Policy Distillation of Large Language Models II: One Training Example
arXiv:2609.04172 · 代码 github.com/Thinking-Space/One-Shot-OPD
把 OPD 的训练数据压到数据极限——只用 1 条 query——学生模型仍能在数百步内持续提升，并恢复全量数据训练（DAPO-Math-17K，17k 条）的大部分收益。数学推理上（MATH-500/AMC 2023/AIME 2025 平均），step 300 时 one-shot 达 68.5 vs 全量 69.8，恢复全量收益的 87%；step 1000 时 68.4 vs 72.1，仍恢复 72%。该现象横跨 4 个任务域（数学、代码、指令跟随、agentic 工具调用）和 3 个模型家族（Qwen 系、Llama 系、OLMo 系），且即使用学生从未解出的 query 也成立。
在同一 query 上对比：RLVR 的稀疏结果奖励在学生几乎总能解出该题后即告枯竭；而 OPD 的逐 token 稠密教师信号持续存在，1000 步内 OPD 验证增益是 RLVR 的 2 倍以上。
关键数字速览
| 指标 | 数值 |
|---|---|
| 1 条 query 的状态覆盖率（step 300） | 71.5%（step 100 时已 65.9%） |
| 16 条多样 query 的状态覆盖率 | 98.9%，精度追平全量数据 |
| one-shot vs 全量 OPD（step 300，数学均分） | 68.5 vs 69.8，恢复 87% 收益 |
| one-shot vs 全量 OPD（step 1000） | 68.4 vs 72.1，恢复 72% |
| MOPD：16 条/域 vs 全量 | 52.9 vs 52.8（101%），数学 93%/代码 136%/IF 109% |
| OPD vs RLVR 验证增益（1000 步，同 query） | OPD > 2× RLVR |
COLM 2026ETH Zürich/MIT/Cohere
Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
arXiv:2609.04194 · Published at COLM 2026
作者将推理轨迹视为序贯决策过程，把某一步的重要性形式化为 RL 意义的 advantage：A(s,a) = Q(s,a) − V(s)，即「加入该步后完成正确/原答案的期望奖励变化」，用 Monte Carlo rollouts 估计，并用 PELT changepoint 检测 + Beta 后验（δ=0.1、95% 概率阈值）标记「关键步骤」。实验覆盖 AIME 24/25/26、AMC 23、MATH500、GSM8K 六个基准、Qwen3-1.7B/4B/8B（thinking 开/关），共 1800+ 条响应。关键步骤非常稀有：仅占 1.8%（ID）/2.3%（OOD）的步骤。
追踪整条 CoT 的答案概率曲线发现：规模与 thinking mode 带来的收益，主要来自第一个推理步骤之前就已经很强的答案先验（"high throughout" 型轨迹），而非推理过程中逐步发现答案。不确定性管理类步骤在答对响应中最常是关键步骤；答错响应则多由「结尾突然蹦出错误答案」导致（non-thinking 模型），thinking 模型更多是「逐步爬升」到错误答案（59% vs 24% 突然爬升）。
对 PRM/过程监督的警示：过程奖励模型与 generative critic 依赖「步骤文本承载其功能角色」这一假设。本文证明该假设只对答错轨迹近似成立；对答对轨迹，关键步骤的功能重要性大部分无法从文本解码。以 LLM judge 标注的步骤质量训练 PRM，或在推理评估中把「文本上合理的推理」当作「关键推理」，都可能建立在不可靠的测量之上。
本周 arXiv（cs.AI/cs.CL 9 月 4 日批次）与本文主线直接相关的几篇：
| 论文 | 关键点 | 与主线的关系 |
|---|---|---|
| 2609.02849 Nemotron-3 编程竞赛后训练 | SFT+RL 专化管线 + GenCorrect 测试时计算；IOI 2026 真实赛制下 535.4/600，首次超过人类最高分（498.27） | 印证 OPD/RL 类后训练管线（本文提及 Qwen3/MiMo/GLM-5/DeepSeek-V4/Kimi K3 均用 OPD）已进入实用化成熟期 |
| 2609.04198 黑盒 LLM judge 可靠性失败（预注册） | 52,988 次请求审计：同窗口重复排名 Spearman 仅 0.40（要求 0.90），次日字节级复现 0.78（要求 0.99）；「模型名不是冻结的测量仪器」 | 与论文二互为印证：judge 作为测量仪器，其本身的仪器噪声与漂移常被忽略 |
| 2609.04197 ESPO 提示词优化（EMNLP 2026） | Diagnose-Propose-Select 三阶段：错误聚类 + 多策略候选 + bootstrap 稳定选择；比 GEPA +3.76pp 且 prompt 缩短 47% | 同样针对「小验证集上点估计不可靠」的统计问题，与本文 Select 阶段同源 |
| 2609.04170 100-agent 研究 swarm 涌现作弊与吹哨 | 共享知识库让作弊跨 agent 传播，另一组 agent 自发审计、抵制、举报 | 多 agent 生态下「共享基础设施=公共知识资源」的治理视角 |
1. OPD 数据策划的重心应从「收集题目」转向「选择状态/启动子」：既然一条 query 就能覆盖 71.5% 的状态空间、输入内容甚至可以没有题目，那么为 OPD 挑数据的正确问题不再是「要多少难题」，而是「哪些输入能让学生 rollouts 进入教师可监督的未覆盖状态」。论文提出的 state coverage 若能从全量运行中独立估计（作者在展望中留了这个口子），可直接变成数据筛选准则——对后训练成本是数量级层面的影响。
2. 推理评估要分层看待「从文本解码」的可靠性：答错轨迹的关键步骤可被 critic 较好识别（≈半程上限），答对轨迹则基本不可解码。务实的 PRM 策略是把过程监督资源集中在失败轨迹的诊断上，而不是试图给每条轨迹的每步打分；对「answer 先验在推理前已锁定」的观察，也意味着许多长 CoT 的收益可能在起笔之前就已决定。
三点保留：(a) One-shot OPD 的实验规模在 1.5B–7B 师生对，frontier 尺度（数百 B）下师生差距更小、状态空间更复杂，结论外推需谨慎；(b) 「内容无关输入也能驱动 OPD」是在数学/代码域验证的，对需要事实性知识的域未必成立；(c) 论文二的噪声上限本身来自 MC 估计，关键步骤标注仍有残余不确定性，COLM 结论是「部分可解码」而非「完全不可解码」。
把两篇合起来看，本周的信号很清晰：后训练的信号瓶颈不在数据量而在算法吸收率，评估的信号瓶颈不在文本而在测量设计。做 judge 门控、PRM 训练或 OPD 数据管线时，先小规模验证「仪器本身是否可靠」（2609.04198 建议的 pilot 只需全量 2% 的调用量），再冻结阈值——这是两篇论文共同的工程化落点。