先决定提交什么，再决定生成多少

2026-10-23 · 论文原理 · cs.AI / cs.CL 当日新稿

为什么重要

测试时扩容和掩码扩散语言模型都在多花前向。浪费往往不在「再生成一轮」，而在提交决策：推理模型在短前缀之后剪掉谁，扩散模型在这一步把哪些位置从 mask 写成 token。

今天两篇把这个决策从启发式里拿出来。一篇直接优化保留池的 pass@k，让质量和多样性变成同一个目标的两侧。另一篇检查解掩码策略的教师标签：和最终输出一致，在低 NFE 下过于宽松。

核心论文解读

Direct Pass@k Optimization for Thought Pruning

新方法 arXiv:2610.31667 · cs.AI / cs.CL · 2026-10-23

测试时扩容的常见做法是生成很多候选，希望其中至少一条是对的。全部写完太贵，所以近期工作只生成短前缀再剪枝，算力只留给活下来的候选。

现有剪枝分成两类。质量派给每条部分解打分，丢掉预测最终会错的。多样性派挑选走不同推理轨迹的部分解，希望覆盖不同的最终答案。作者把这组张力看成探索与利用，并指出剪枝文献几乎没有把这个权衡直接写进目标，更没有去优化它。

他们的剪枝直接对选出的解池优化 pass@k：选择那个池，使「其中至少一条部分解，在续写完成之后给出正确答案」的概率最大。这个目标同时奖励高质量部分解，并惩罚池内冗余。质量和多样性不再是两套临时规则。

摘要报告：在八个开放权重推理模型上，该方法优于现有的质量派和多样性派。增益在只保留中等数量的部分解继续生成时尤其明显。摘要没有给出八个模型的名字，也没有给出 pass@k 的绝对数字，更没有说明这个概率是用过程奖励模型估计，还是用采样频率估计。目标是干净的，估计器才是方法本体。

What Makes a Good Unmasking Policy?

新方法 arXiv:2610.31576 · cs.AI · preprint，32 页 · 2026-10-23

掩码扩散语言模型并行猜 token，效率取决于哪些预测被提交。已有的学习式解掩码策略能改善速度与准确率的权衡，但监督信号、输入特征和模型容量缠在一起，看不出哪一项在起作用。

作者把监督式策略看成通过教师蒸馏一套解码过程，并拆开四件事：教师把什么标成可提交、策略在哪些状态上模仿教师、策略观察到什么、函数评估次数（NFE）要下降多少才能抵消策略本身的开销。

两条发现可以直接用。把「与最终输出一致」标成可提交，在低 NFE 下过于宽松。隐状态单独使用很弱，但可以补充置信度。在他们测试的设置里，大约 10% 的 NFE 下降就足以抵消不超过 750 万参数的策略开销。

因此他们改用轨迹收缩目标：只接受仍留在参考轨迹上的提交，输入是置信度加隐状态。在 LLaDA-8B-Instruct 上，得到的 85.6 万参数策略在 GSM8K 上达到最好的准确率–NFE 前沿，吞吐也最高；在 MATH-500 和 HumanEval 的中等目标上有竞争力；并大体迁移到 Dream-7B-Instruct。

和上一篇的对应关系：pass@k 剪枝惩罚的是池内冗余，轨迹收缩惩罚的是偏离参考解码轨迹的提前提交。两边都拒绝「看起来像最终答案」这种过宽标签。

相关工作

Cola2：跨度先压缩，token 后实现

Cola2（2610.31305，cs.CL，47 页）把层次语言生成拆成连续语义建模和离散文本实现。它动态把文本切成语义跨度，用无辅助损失的负反馈控制压缩率，并用重建与生成两种监督学紧凑、可预测的潜变量。块因果掩码扩散解码器在干净、带噪和丢弃的潜变量条件上训练；classifier-free guidance 调节「按语义重建」和「自主生成」的比重。token 预测的梯度穿过潜变量更新编码器；Flow Matching 的先验学习用 stop-gradient 与表示学习脱钩。推理时，已生成文本按固定跨度布局重新编码，使潜变量历史和真实文本上下文一致。

数字要分开读。约 2100 亿训练 token 上的五项下游任务用来验证设计，缩放尚未饱和。另一组是未收敛检查点：3460.3 亿 source token，八项任务平均 60.10，并在 HellaSwag 和 StoryCloze 上超过 Llama-3-8B。摘要说 Llama-3-8B 所报告的预训练预算比这个检查点大 43 倍以上。这不是匹配训练，也不是八项平均全面超过。

ValuSpec 不要和 10 月 20 日那期并成一条

10 月 20 日写的是有损投机解码里，更长的接受长度会把推理痕迹写歪。ValuSpec（2610.31338）做的是另一件事：候选树已经由检索或动态建树给出之后，在昂贵的目标侧验证之前滤掉低质量枝。阈值来自目标模型在校准划分上的贪心轨迹，不训练参数。目标模型按输出一致的贪心规则验证过滤后的树，被接受的 token 与标准自回归解码逐字相同。

摘要给出的加速：主实验的检索式树设定里，端到端最高 2.38 倍；接进 EAGLE-3 动态树且不改其建树策略时，最高 2.78 倍。评测集是 HumanEval、GSM8K、Dolly 和 SpecBench。这是验证前过滤，不是放宽验证语义。

深度复用与指令转向

2610.31421 在不超过 30 亿参数的预训练模型和控制任务上比较循环模型与深度生长模型。相对全深度稠密参照，它们更早获得上下文学习，并且在权重也可以记住固定关联时，仍更强地保留「从上下文学习」的倾向。训练轨迹显示，深度生长把早期诱导头传到后续层。消融显示，按诱导能力排序的头对 few-shot 和后续 token 预测都更关键。这是机制证据，不是新的解码器。

DIAL（2610.31438）要的是数值上可调的指令服从，而不是再写一条 prompt。冻结 LLM 上的 classifier-free guidance 提供不同服从程度的训练信号，再做 on-policy 蒸馏。轻量适配器在隐状态上做分类，闭式算出转向编辑；分类器按目标服从程度逐 token 设定幅度，并考虑隐状态几何以保持连贯。分类器以文本为条件，新指令不必逐条拟合，训练只需要指令和请求文本。SteerIF 有 98,625 条，覆盖概念、人格、可验证约束和描述性指令。摘要称在多个模型族上，概念表达与流畅度取得有竞争力的平衡，概念分数随服从档位单调上升。摘要没有给出分档分数表。

我的判断

解掩码策略值得做成小模型，不值得做成第二套大模型。摘要里的账是：大约少 10% 的 NFE，就能抵消 750 万参数以内的策略开销；他们实际用的是 85.6 万。隐状态不要单独当特征。教师标签用轨迹收缩，不用「碰巧等于最终 token」。

Cola2 适合当成连续潜变量层次生成的结构证据：跨度布局在推理时必须固定，潜变量历史才不会和已写文本脱节。60.10 来自未收敛检查点，不能当成已经替换 Llama-3-8B 的结果。