手册执行接近零，CoT 压缩进潜空间

2026-09-15 · 每日调研

为什么重要

本周 cs.AI / cs.CL 的两条线同时打中「推理」这个词，但方向相反。一条来自工业手册：Manulife 的 TAM 把 ICD-10-CM 编码和美国联邦量刑做成严格 exact-match 基准，GPT-5 配上 RAG / ReAct / agent harness，ICD 精确匹配仍停在 1%。另一条来自效率：A*-Thought-V2 把思维链当成隐状态轨迹，把偏航步骤压进 latent token，准确率不降反升，响应长度最多砍半。对 agent 系统来说，这意味着「更会想」还补不上长程规则执行，而「想得更短」已经有了可训练的几何准则。

一句话：短 hop 基准仍在高估推理；真正卡住的是跨手册的约束搜索。与此同时，CoT 压缩从硬剪枝走到了显隐交错的潜空间，效率问题开始有几何答案。

核心论文一：TAM——长手册程序推理几乎做不动

cs.CL / cs.AICIKM 2026新数据集代码+数据开源Manulife

Tasks over Application Manuals: Revealing Gaps in Long-Horizon Procedural Reasoning for Language Models（Utkarsh Soni, Syed Shariyar Murtaza, Yifan Nie, Sachin Chandrasekhar, Eugene Wen）
arXiv:2609.13005 · 2026-09-11 · CIKM ’26 · 代码 · 数据

要解决的问题

HotpotQA、MuSiQue 这类多跳问答通常只要几次检索或推理。工业场景不是这样：ICD 编码要在 120 页指南、1,304 页字母索引、1,942 页表列（34,502 个叶码）之间来回；联邦量刑要从 Title 18 映射到 USSG，再做特征、分组、调整。局部看起来合理的一步，可以在十几步后才暴露全局无效。TAM 把这种「手册治理的决策轨迹」做成可打分任务。

形式化：局部合理 ≠ 全局可解

一个 TAM 实例是三元组 (x, M, y*)：病例或案情、手册、精确输出。系统从 s0 = (x, ∅, ∅) 出发，反复选动作（检索规则、解析交叉引用、施加约束、回退、终止），状态按手册转移算子更新。只有轨迹全程可接受、且最终输出精确等于 y* 才算解。作者把这看成约束搜索：每一步有多条看起来像样的边，只有少数能保住通向合法终态的路径。

数据怎么来

域	输入	目标	规模	手册负担
ICD-10-CM	出院小结	精确诊断码集合（不计顺序；主诊断单独报）	1,000 例，抽自 38,332 条合格 MIMIC-IV 入院	平均 12.85 码/例，2,555 个不同码；620 例 ≥10 码
联邦量刑	案情摘要	精确总 offense level	200 例，人工审核；覆盖 2021–2025 五年手册	多 count 要先算分项再按分组/交叉引用合并

ICD 侧从 MIMIC-IV 254,377 条入院切到 2017–2019，再用官方 addenda 剔除跨年版本敏感码，最后要求有可用出院笔记。作者明确：MIMIC 公开，模型可能见过部分记录；若有泄漏，只会使任务更容易，当前低 exact-match 因此偏保守。法律侧完整 200 例随仓库发布；MIMIC 原文不能再分发，有 PhysioNet 资质才能重建。

四个 GPT-5 基线，exact-match 几乎为零

对比的是工业里常用的提示范式，不是穷尽所有新方法：单次 RAG、多轮 agentic RAG、受控手册浏览 API 的 ReAct、以及 LangChain Deep Agents 拆成专职 worker 的 harness。ICD RAG 索引做成 17,138 个块（指南 126、表列 2,255、索引 14,457），切块尽量贴近编码员翻手册的方式。

基线	ICD EM	ICD Precision	ICD Recall	ICD 主诊断	法律 EM	法律 MAE
Single-pass RAG	1.0%	52.0%	33.0%	42.7%	7.5%	2.87
Agentic RAG	1.0%	59.0%	37.0%	45.7%	11.0%	2.80
ReAct tool use	1.0%	58.9%	26.8%	20.0%	15.5%	3.04
Agent harness	0.7%	59.9%	27.4%	50.1%	14.5%	2.34

ICD 的精确集合匹配卡在 1% 或以下。精确率和召回率还能到 50–60% / 27–37%，说明模型「摸到一些对的码」，但凑不齐、也排不对整套规则。
主诊断最好 50.1%（harness），ReAct 反而掉到 20%——工具循环拉长后，第一诊断更容易漂。
法律侧 ReAct 做到 15.5% EM，是四个里最高；harness 的 MAE 最低（2.34），说明拆工人能把误差压小，仍过不了 exact 门槛。

注意：ICD 的「部分对」会制造虚假安全感。52% precision 配 1% exact-match，意味着生产里看起来能编码，账单和合规仍会系统性失败。不要用部分匹配替代 TAM 的主指标。

失败从哪来

化疗入院的例子很清楚：同一份笔记可能同时写转移癌、输液药物反应、高血压、抑郁、以及从既往史复制过来的背景病。系统必须决定这次就诊「主要为了什么」、并发症要不要另开码、慢性病是否活跃到可报、哪些只是背景。只编癌症会漏掉指南要求排在第一的「因化疗就诊」码；把所有像诊断的短语都编进去则过包。检索到正确规则但贴错主问题，推理文本仍可局部自洽。

作者把 TAM 放在三类基准之间：不是短 hop 检索，不是 WebShop/ALFWorld 那种环境探索，也不是把 ICD 直接做成极端多标签分类。它测的是对着固定、交叉引用的职业手册，把长程序跑完且一步不错。

一句话结论：在 GPT-5 + 当代 agent 栈上，跨数千页手册的程序推理还没有被「多跳已经很强」这句话覆盖。TAM 把缺口量化成 1% / 15.5% 两条 exact-match 线。

核心论文二：A*-Thought-V2——用几何动力学压缩 CoT

cs.CL / cs.AI / cs.LG新架构代码+模型开源北邮 / 清华 / 中国移动

A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM（Xiaoang Xu, Siyuan Liu, Shuo Wang, Junlan Feng 等）
arXiv:2609.07821 · 2026-09-07 · 代码 · V1 中 NeurIPS 2025

从硬剪枝到显隐交错

V1（A*-Thought）用双向重要性和路径级 A* 搜索，丢掉判定为冗余的步骤。V2 不删：把 CoT 看成隐状态轨迹 q → t(1) → … → t(T) → s，PCA 投到 3 维后，用局部转移与全局「问题→解答」方向的夹角 θn 决定去留。对齐的步骤留成显式文本；偏航的步骤压成连续 latent token。

夹角有语义：小角偏向直接执行和答案成形，大角更常出现检查、纠错、改分支。时间序列上还能看出三段——探索（振荡大）、收敛（变化下降）、精炼（答案前）。实现上用 90° / 60° 阈值控制压缩松紧：90° 只压检查/纠错/探索，60° 连混合执行也压进去。

训练：Embedding Forcing + Label Forcing

这是方法的核心，不是又一个「把 hidden state 当 token」的口号。

Embedding Forcing：把被压步骤的 token embedding 做分段均值池化，映射成一个 latent token，减轻变长步骤的信息瓶颈，同时保住时间顺序。
Label Forcing：一个 latent 要编码整步多个 token，硬 one-hot 不合适。把该步所有 token 的 one-hot 平均成词表上的软多峰分布，用它监督 latent 位置。
总损失是文本 CE + latent 软标签损失。推理时 latent 段的输入改成上一层隐状态，训练时则是池化 embedding，作者强调训练/推理模式要严格对齐；可用 max_latent_count / max_latent_len 限制切换次数和单段长度。

数字

骨干是 Qwen3.5-9B 和 Qwen3.6-27B；域内 Math500、AIME 2024/2025/2026，域外 ARC-Challenge、GPQA-Diamond。ACU = 100 × Accuracy / Length。

相对同数据 SFT，平均准确率最多 +2.6 个百分点。
90° 变体相对原版 Qwen3.6-27B：响应长度近乎减半，ACU 从 0.35 升到 0.80（2.29×）。相对同数据 SFT，27B 的 90° 变体平均准确率 +1.0，长度 −16.0%。
压缩预处理相对 V1 从 5:16:22 降到 0:16:57（−94.6%）。60° 压缩率 31.67%，训练时间 9B / 27B 分别 −80.3% / −68.7%。
消融：去掉 Embedding Forcing、Label Forcing、或两者，平均准确率分别掉到 92.8%、72.5%、61.7%。软标签监督比池化更致命。
几何选择优于随机角和「反过来压小角、留大角」；三者压缩率都在 47–48%，但几何分配更短也更准。

表征上，latent 隐状态在 PCA 里形成一块与文本 token 分开的紧区域；latent 位置熵更高，对应更宽的软目标。默认轨迹提取器用 Qwen3.5-0.8B，换 2B/4B/9B 对下游差距不明显。

注意：仓库 star 目前大约 28，远不到「有代码且 stars>500」那条。它过筛选是因为新架构（显隐交错 + 几何分配），以及 V1 已中 NeurIPS 2025。另外，主实验仍是数学/科学问答上的 SFT，作者把 RL 留给未来——这套压缩还没在 TAM 那种手册约束搜索上验证。

一句话结论：V2 的贡献不是「再短一点」，而是给出可计算的去留准则（夹角）和可训练的压缩目标（软词表）。硬删信息的路线，至少在这组 Qwen 实验里被连续 latent 替代了。

工作	id	点	和本周两条线的关系
Proof-Carrying Cognition	2609.09776	验证缺口：无声 verifier 在 BoN=4096 时 Soundness-under-Pressure 从 0.94 掉到 0.32；现实结算可把 hacking gap 从 ~0.27 打到 ~0	TAM 缺的是可执行手册状态机；这篇缺的是不可腐蚀奖励。两边都在说「看起来在推理」不够。
OpWeave	2609.14237	Zhihao Jia 组：算子级异构拆分，相对最强可行基线 serving 成本 1.78× / 1.89×	系统侧的拆分；A*-Thought-V2 是 token 侧的拆分。都在问「哪一段值得留在贵设备/显式文本上」。
SQD	2609.13134	按二次/亚二次注意力而不是按算子类型拆 decode；8×B200 代理上 tokens/J 相对 GPU-only +31%–56%	和 OpWeave 同一周的 serving 几何，说明异构拆分已从 FFN/Attn 细到注意力形态。
SwiReasoning / CopT / Coconut	2025–2026 潜推理线	动态切显隐、连续空间 verifier、连续思想	V2 自称补上「按轨迹决定哪一步显、哪一步隐」的准则，而不是再发明一种 latent 介质。

我的判断

两篇不该被读成「一个说模型笨、一个说模型更高效」。它们测的不是同一种推理。

TAM 测的是外置规则的忠实执行。 状态在手册里，不在权重里。RAG 能把相关段落找来，ReAct 能翻工具，harness 能拆工人，但没有一个基线能维持几十步的约束一致性。这对 OpenClaw 这类「对着长 skill / 长手册干活」的系统是直接警告：把 SKILL.md 塞进上下文，不等于能按 SKILL 跑完。
A*-Thought-V2 测的是内置搜索的密度。 数学 CoT 里大量 token 是检查和改分支，几何上它们偏离「问题→答案」主轴，压进 latent 反而更划算。这解释得通为什么短响应可以更准：丢掉的是显式语言，不是搜索本身。
二者暂时接不上。 把 ICD 编码的回退和交叉引用压成 latent，只会更难审计。TAM 需要的是可检查的中间承诺（当前候选码、已激活的排除规则、未解子问题），不是更密的 hidden state。Proof-Carrying Cognition 的「步骤是可结算的概率断言」更接近 TAM 该走的方向。

可执行含义，按置信度分开写：

[HIGH] 不要用 HotpotQA / AIME 分数代表「能跟手册干活」。至少在 GPT-5 的这组提示基线上，手册 exact-match 和短 hop 不在一个数量级。
[HIGH] 若要压推理成本，优先看「哪类步骤在几何上是偏航」而不是统一截断长度。V2 的 90° 阈值是可复现的操作点。
[INFERRED] 生产 agent 更该把手册编译成可回退的状态机（工具粒度对齐 TAM 的 Index/Tabular/Guideline API），而不是再加一层「想想再搜」。TAM 的 harness 已经试过拆工人，exact-match 没有被救起来，缺的是状态约束，不是角色扮演。
[LOW] A*-Thought-V2 的 latent 段目前不可读。用在要合规审计的流程上，等于主动丢掉 TAM 最需要的轨迹证据。

下周若只跟一条线：TAM 是否出现非提示方法（程序合成、可执行规则引擎、带回退的 symbolic 层）把 ICD EM 从 1% 抬起来。那会比再发一篇 latent CoT 更改变判断。