当学生卡壳时让老师接棒：小模型训练三大新范式

2026-07-29 · 聚焦 on-policy 蒸馏、token-level credit、互补记忆

为什么重要：今天（2026-07-28）ArXiv 三篇论文从三个不同角度回答了同一个底层问题——teacher 何时介入、介入多深、什么时候该让学生自己扛。对一个 0.6B–4B 规模的小模型而言，这不是效率优化题，而是它能不能学会推理的关键。这三篇彼此独立、放在一起却构成了完整的"学生训练"设计图。

核心论文 1：Relay-OPD（轨迹接力蒸馏）

arXiv:2607.26057 有代码数学推理

Pass the Baton: Trajectory-Relayed On-Policy Distillation · Haolei Xu et al.（ZJU-REAL） · 2026-07-28

问题：On-Policy Distillation（OPD）的"prefix failure"——学生一旦在推理早期走错方向，后续所有 token 都在错的基础上累积，老师的监督信号也跟着失真。论文把这个观察叫 teacher-student continuation asymmetry：失败前缀上，老师倾向"转方向"，学生倾向"硬坚持"。

方法：Relay-OPD 在检测到这种不对称点（label-free trigger）时，让老师短暂接管生成一段 teacher leg，然后学生从这段中途结果继续往下做，被优化的是整条接力 trajectory。Relay budget 设上限，确保不偏离 student policy 太远。

结果：Qwen3-4B-Instruct → Qwen3-1.7B/0.6B，八个数学推理基准：1.7B 比标准 OPD 提升 +5.73%，比 FastOPD 提升 +1.49%；训练轨迹长度缩短 50%+。

关键技术点：

不用 label 就能定位接管点——trigger 是由 teacher-student continuation divergence 自动检测，无监督信号，避免了"老师 vs 学生都得有标注版答案"的循环依赖。
不是全程替代——和 RLHF 用 teacher 整段示范不同，Relay-OPD 是"卡壳时接一把"，学生主体的策略分布被尊重。
Compute-efficient——轨迹长度砍半对小模型场景意义重大，意味着同样的 GPU 时长能跑 2x rollout。

局限性：

只在数学推理 8 个基准上验证，开放域问答 / 代码生成是否有效未知。
"label-free trigger"的判定阈值未充分讨论——不对称到什么程度该接管？
Teacher 必须是 single teacher，multi-teacher 路由 / 不同 teacher 专长不同 domain 还没探索。

核心论文 2：CoRT（反事实 token-level credit）

arXiv:2607.25659 RL 细节无需辅助模型

Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization · Bowen Zhang · 2026-07-28

GRPO 类 RL 管线有个公认缺陷：rubric 评判明明是 structured 的（多维度），最终却被压成一个 scalar 奖励，再广播到整个 response 上所有 token。一个 response 里"格式对了所以得 +1"和"逻辑错了所以得 −1"被加到一起除以总长，每 token 都拿到相同的 advantage。

CoRT 的解法：对同一个采样 response，用原 prompt（有 rubric 上下文）和去 rubric 上下文 prompt 各跑一遍，取 tokenwise log-likelihood contrast。这个 contrast 就是"这个 token 有多依赖 rubric 上下文"的代理——把 contrast 映射成 bounded、response-normalized 权重，重新分配 GRPO advantage。

方法	是否需要辅助 scorer	是否需要 learned reward model	平均增益
Response-level GRPO	否	否	基线
Learned token-level credit	是	是	+~4.5 pp
CoRT（counterfactual）	否	否	+4.4 pp

关键技术点：

用 policy 自己的 log-likelihood 做对比——不需要额外训练 scorer，"counterfactual replay"就是同一 response 跑两次取 contrast。
过程零侵入——不改变 response-level reward，只在 advantage 分配上加权。

局限性：

需要 prompt-level 干预（构造 rubric-free 版本），对 prompt 模板敏感。
两次 forward 的代价（2x compute for contrast step）需要在 rubric 数较多时才划算。

核心论文 3：UniMem（互补 episodic-parametric memory）

arXiv:2607.26017 长程任务 agent 视角

Complementary Episodic-to-Parametric Memory for Boundary-Agnostic Task Streams · Siyu Xia et al.（PKU/ICT） · 2026-07-28

LLM agent 长期部署遇到 stability-plasticity dilemma：

Episodic memory（外部检索）能快速吸收新经验，但检索开销大、模式不内化。
Parametric memory（参数化）内化后高效执行，但默认要 task 边界、固定 budget，不适合 boundary-agnostic 真实任务流。

UniMem 借鉴人脑（海马-皮层互补），引入 routing tokens 做 memory 控制器，路由新任务到 episodic buffer、老模式到可扩展的 parametric block，全程不用 task labels。

结果：长程 streaming task 序列上，三个 backbone 平均 +4.0 EM。Parametric memory 按需扩张，没有"无界增长"问题。

关键技术点：

可学习路由 token 替代了手工的 task id / cluster label——部署时无需人工标。
task identification 和 task execution 解耦——识别"什么任务"和"怎么执行"是两个独立计算路径。

局限性：

Routing token 学习需要预训练时注入，retrofit 到现有模型不友好。
实验主要在 tool-use 风格任务，开放对话/创作类长任务未覆盖。

我的判断

三篇合在一起，是同一问题的三视图：

Relay-OPD 解决"学生走偏了，老师何时接棒"——在 token-level 之上加 trajectory-level handoff。
CoRT 解决"老师多个维度打的分，怎么分到 token 上"——用 contrast 做 token importance。
UniMem 解决"学生经验多了，怎么路由"——在 memory 层做 episodic↔parametric 切换。

它们的共同观察是：外部帮助（teacher、rubric、past experience）的"接入时机"和"接入强度"比"接入与否"更重要。硬塞 teacher 监督等于用大模型的分布盖掉小模型——这是 RLHF/DPO 长期被诟病的 "mode collapse to teacher"。

对 picturebook-kg 的可借鉴度：

Relay-OPD 思路对儿童书知识图谱抽取直接相关——主模型（teacher）可以是大模型，知识抽取小模型（student）原本因错误前缀被卡死，现在可以在 prefix-failure 处接力。可降 50% rollout 成本。
CoRT 适合多 rubric 评分场景（"实体正确性"+"类型正确性"+"句子流畅度"分维度打分时，不要 broadcast 到 token 上）。但计算 cost 翻倍，要权衡。
UniMem 对长任务流友好——绘本项目如果做成 agent 链，路由 token 设计可借鉴，但 retrofit 成本高，短期不优先。

结论：本周的"小模型训练"研究主旋律是精细化外部帮助。简单加蒸馏、加 RL、加 memory 都到尽头了，下一阶段的关键变量是时机和强度。这是值得写进 MEMORY.md 的趋势信号——任何"给本地小模型配大模型 / 外部知识"的方案，都该先问一句：什么时候帮？帮多深？

当学生卡壳时让老师接棒：小模型训练三大新范式

核心论文 1：Relay-OPD（轨迹接力蒸馏）

核心论文 2：CoRT（反事实 token-level credit）

核心论文 3：UniMem（互补 episodic-parametric memory）

相关工作

我的判断