cs.CL 投机解码 推理效率
2026-10-19 的 cs.CL 新稿里，两篇投机解码论文从相反方向打到同一个指标：每一轮验证里被接受的 draft token 数。无损验证下，这个数大致能代表加速，因为目标模型的输出分布和期望完成长度都被保住了。
一旦放宽验证，或者把 draft 模型绑在不断变长的 agent 历史上，这个数就会和真实延迟、任务正确率脱钩。上一期谈的是循环 Transformer 的前瞻解码；这一期的机制不同，是「验证放松会改长度」和「draft 不该背历史」。
Wang、Xu、Gu、Zhang 把投机解码的常用指标拆开了。标准说法是：用小 draft 先写一段，目标模型一次验证，被接受的 token 越多，加速越大。这个代理只在无损验证下成立。无损验证拒绝一切会改变目标分布的 token，因此期望完成长度不变，每轮接受数才和少跑了多少轮验证对齐。
有损（relaxed）验证故意收下无损规则会拒绝的 token。分布一变，完成长度就不再是常数。作者把现象叫做 length inflation：被多放进来的 token 主要用来把推理痕迹写长，每轮看起来更「能接受」，整段生成却更长，表观收益被抵消。
在 12 组 target–drafter、同一批 prompt 上，相对无损验证：各规则最放松的设定平均每轮多接受 1.34 倍 token，但完成长度变成 1.54 倍。只在有损规则下被接受的 token，目标模型概率往往很低。能减少验证轮数的规则，正确率通常明显下降。有的失败是推理一直继续，把交卷所需的预算耗尽。
所以验收时不能只报 acceptance length。摘要要求同时报完成长度和验证轮数；他们自己还测了墙钟时间和任务正确率。这四项里少一项，有损解码的「加速」就不能当工程结论。
论文注明投稿 NAACL 2027、尚在审稿，不是已接收。上面的倍数来自摘要，不是本次对 PDF 或代码的复现。
Xu 等人看的是另一侧：agent 负载是长且持续变长的上下文，加上频繁多轮。他们观察到现有 draft 的接受长度最多下降 80%；若让 draft 自己留着历史 KV，系统开销又很大。两件事的共同来源被归到不断增长的历史上下文。
DLite 的改法是 history-free。不再让 draft 对整段历史建模，而是直接复用目标模型已经算好的上下文隐状态，只做局部投机预测。一个轻量序列头补回块内的因果依赖。异构结构用两阶段训练来适配。
摘要报告：通用、长上下文和 agent 负载上，接受长度在 2–6；相对当时的投机解码方法 DSpark，最多高 70%。这里的接受长度仍处在「用验证保住目标分布」的框架里，和上一篇的有损规则不是同一个旋钮。
两篇要合在一起读。DLite 是在不改验证语义的前提下，把 draft 的建模问题从「背整段历史」收成「读目标隐状态、预测下一块」。2610.23818 则说明：如果用放宽验证去买接受长度，买到的常常是低概率 token 和更长的推理。把 DLite 的「接受长度提升」说成「放宽验证也能加速」，是把两件相反的事焊在一起。
摘要给的是接受长度和相对 DSpark 的上界，没有给出相对朴素解码的端到端加速比，也没有给出 80% 跌幅对应的具体 draft/目标配对。2–6 的接受长度本身偏短，不能直接换成部署时的墙钟倍数。
同一天的列表里，还有几篇在问「表面上看起来对的信号，是不是真正的目标」。和主线相关的三条如下，另有一条同期的记忆工作，资格是明确的顶会接收，放在表里作对照，不展开成第二条主线。
| 论文 | ID | 资格 | 和主线的关系 |
|---|---|---|---|
| OwlSight | 2610.23670 | 新方法 | 痕迹一旦被写长，监控对象不该绑死在单个任务上。用可替换的 Factor 覆盖能力、安全、可信；15,971 条轨迹上，细粒度比通用 LLM 高 1.32–30.57 分，粗粒度高 11.71–27.81 分，并称在 OpenAI 的 CoT monitorability 基准上达到当时最好。 |
| ReDiST | 2610.23831 | 新方法 | 正确的推理痕迹不等于可教的痕迹。从学生自己的尝试改写，用冻结的同能力 reader 按「能否找回答案」筛选，再离线蒸馏。推理时不再依赖痕迹构造器。 |
| TIDER | 2610.23598 | NeurIPS 2026 | 另一类表面信号：语义相似但时间错位的记忆会在检索阶段挤掉目标证据。1.7B 的时间窗定位器用 RL 把稀疏答案奖励变成窗口决策。LifeBench 61.52%（+8.82），LoCoMo 78.96%（+3.66）。 |
| MemCompile | 2610.23313 | 新方法 | 检索命中不等于可答证据。寻址平面只负责定位，证据平面在有界预算里把命中编译成可答上下文。LoCoMo 上 Judge Accuracy 80.52%。 |
同期还能看到技能分化（CDSE，2610.23599）、按需暴露技能（SkillBrowser，2610.23554）和经验固化（Darwin-Claw，2610.23574）。它们解决的是技能库怎么长，不是解码指标是否失真，这里不展开。
有损投机解码不该用「每轮多接受了多少 token」上线。推理模型上，多接受的部分会变成更长的思考痕迹；验收必须同时有完成长度、验证轮数、墙钟和任务正确率。
Agent 场景里，draft 再维护一份完整历史 KV 是重复劳动。目标模型的隐状态已经付过上下文的计算成本，DLite 把预测收成局部问题，方向是对的。但摘要里的 70% 是相对 DSpark 的接受长度上界，不是相对普通解码的延迟倍数。没有墙钟数字之前，只能把它当架构假设，不能当容量规划。
和 2026-10-16 那期的 LoopAhead 不要并成一条新闻。那篇挖的是循环层早期状态的前瞻；这两篇挖的是验证语义和 draft 的历史依赖。都叫投机解码，优化对象不一样。
检索窗口是 arXiv 最新列表。cs.AI 当日 174 条、cs.CL 当日 146 条，正文只读了各前 25 条标题，再对入选 id 核对了 API 摘要。多数稿件未经同行评审；TIDER 的 NeurIPS 2026 接收以摘要中的注释为准。数字在读完 PDF 和代码之前都只是摘要口径。