更深不等于更智能:拓扑规划失败与推理对齐崩塌

2026-09-11 · 每日调研

为什么重要

本周 arXiv 的两条独立线索同时打中「把推理做深」这条默认路线。一条来自空间智能:Northwestern / MSR / Stanford 的 MindTopo 证明,最强多模态模型能认出绳结与迷宫连通性,却几乎不会在交互环境里操作这些关系。另一条来自对齐:对 Qwen3 / DeepSeek-R1 的测量表明,把思维链拉长会单调放大对齐损失,注意力被推理 token 稀释后,原始约束开始失效。对 agent 系统来说,这意味着「更深思考」既补不上规划缺口,还会把安全边界变薄。

核心论文一:MindTopo——拓扑直觉的推理 / 规划双层评测

cs.AI / cs.CL / cs.CV新数据集代码+数据开源NWU / MSR / Stanford

MindTopo: Can Foundation Models Reason in Topological Space?(Yunfei Ge, Anbang Liu, Qineng Wang, Jianfeng Gao, Jiajun Wu, Manling Li 等)
arXiv:2609.11900 · 2026-09-10 · 网站 · 代码 · 数据集

要解决的问题

现有空间基准几乎只测度量量:距离、方向、大小、三维位置。认知科学(Piaget)却把拓扑关系——在连续形变下保持不变的连通、分离、顺序、内外、缠绕——放在欧氏几何之前。一个模型可以认出「这根绳子打了结」,却无法规划如何解开。MindTopo 把这个缺口做成可程序化生成、带 ground truth 的评测。

方法:五个 Piaget 性质 × 两个认知层级

基准共 11,030 条、13 类任务(8,030 推理题 + 3,000 规划回合),难度由参数化生成器控制。每个拓扑性质同时测「认出」和「动手」:

性质推理任务(静态视觉 QA)规划任务(闭循环 gym)
连续性 Continuity迷宫可达性 / 加墙后的 what-ifPipe:旋转管段接通全图
分离 Separation装配体可拆分子组件One Stroke:一笔画分割同色区
顺序 Order弯曲珠串的循环次序Swap:滑块到达目标排列
包围 Enclosure围栏内外、物体通孔计数Chat Noir:封死逃逸的猫
绳结 Knots真结 vs 视觉缠绕、环的链结Untangle:移动插头使绳不相交

评测 14 个 MLLM(5 闭源 + 9 开源),temperature=0。推理用精确匹配,规划必须在环境里执行动作并到达终止条件才算成功。5 名标注员覆盖 11,008 例,三人子集一致性 0.89;人类宏平均 97.87%。

核心结果:认出拓扑,操作不了拓扑

模型推理准确率规划成功率任务宏平均
人类——97.87%
GPT-5.6-Sol66.83%52.75%61.42%
GPT-5.553.77%24.33%—
Gemini-3.1-Pro52.24%19.23%—
Qwen3.5-397B-A17B26.54%5.27%—

训练补得上识别,补不上行动

在 Qwen3-VL-2B-Instruct 上,答案监督 SFT、GRPO、以及 SFT+GRPO 的对比很干净:

设定宏平均推理规划
Base—14.24%0.20%
SFT28.83%——
GRPO18.69%——
SFT + GRPO31.44%51.53%6.33%

SFT+GRPO 把推理从 14.24% 拉到 51.53%,规划只从 0.20% 到 6.33%;Pipe 在所有训练条件下仍是 0%。留一任务的 RL 增益不均匀。图像 / 视频生成当「世界模型」接在规划环路上,生成画面能保留局部线索、到达看起来合理的终点,但审计过的 rollout 不遵守环境动力学,也不在状态转移中保持拓扑。

失败模式从「看错」变成「走错」

对 Gemini-3.1-Pro 与 InternVL3.5-241B 的 910 条错误按因果优先级标注:推理错误 58.1% 是感知 grounding,规划错误 43.3% 是动作选择、24.5% 是动力学违规。显式「拓扑不变量算错」反而少(约 4–5%),因为更早的感知或任务失败已经解释了答案。静态题卡在抽视觉状态,交互题卡在合法状态转移。

一句话结论:拓扑直觉不是「再做一个 VQA 基准」。MindTopo 把 Piaget 的五个原语拆成「识别 vs 操作」,结果显示当前 MLLM——包括 GPT-5.6-Sol——卡在把拓扑关系变成合法动作序列。SFT/RL 和视频生成都没能把这条沟填平。

核心论文二:更深推理诱导对齐崩塌

cs.AI / cs.CL新方法 / 新度量上海工程技术大学 / HKUST / A*STAR

Does Deeper Reasoning Compromise Alignment? Revealing and Mitigating of Alignment Collapse in Large Reasoning Models(Yu-Jie Xiong, Henghua Zhang, Bairui Zhang, Jia-Chen Zhang, Shaohua Li)
arXiv:2609.08186 · 2026-09-08

要解决的问题

社区默认:更深的 CoT / thinking mode 让模型更懂约束、更安全。作者追问的是相反命题:把推理拉长,本身会不会让对齐变脆? 已有工作多在构造针对推理过程的攻击;这篇做机制测量——在同一套权重上开关推理深度,看约束遵守如何变。

方法:ALR + 注意力稀释 + 残差回锚

核心结果:干净准确率上升,扰动跌幅上升得更快

设定(AIME 2024)干净准确率嵌套扰动跌幅
Qwen3-8B,L=020.83%−6.67
Qwen3-8B,L=204824.58%−9.16
Qwen3-8B,L=409631.67%−12.51
Qwen3-14B,L=031.66%−2.91
Qwen3-14B,L=409649.16%−16.25

一句话结论:更深推理提高的是干净任务分,不是约束鲁棒性。机制上这是注意力容量被思维 token 挤占;工程上「把原始指令在决策前再贴一次」比继续加长 CoT 更对症。

这篇论文含越狱评测。本文只报告现象、度量和防御思路(注意力稀释 / 残差回锚),不复述攻击构造步骤。ALR 是相对跌幅:干净分也随 L 上升,所以「崩塌」指的是增益变脆,不是绝对能力倒退。

相关工作

论文要点与本主题的关系
2609.11859 From Parameters to Answers对 Qwen / Llama / Gemma 做层间干预:先分离「路由」(去哪取知识)和「内容」(取到了什么);早期参数路由生效时答案内容仍在形成,后期因果依赖从路由交接到已形成的 hidden-state 内容。三条模型轨迹不统一,Llama 在同样门槛下没有持续的路由窗口。把「模型如何取用内部知识」拆成可干预的两段,和 MindTopo 的「认出 vs 操作」、对齐文的「约束 vs 推理 token」是同一类功能分离。
2609.09030 Answer-Distribution Trajectories16 个开源模型 × 4 个推理基准。跟踪推理过程中完整答案分布,而不是终点准确率或熵曲线。相同终点、相近熵的轨迹,探索 / 修正 / 承诺动力学可以完全不同;训练与推理选择会系统性改写这些剖面。给「更深」提供了比 token 长度更细的坐标系:失败可能发生在探索阶段,也可能发生在该承诺却不承诺。
2609.11768 Per-token gating family(EMNLP 2026 Findings)把 EOPD / ToDi 的 per-token FKL/RKL 门控收成四系数参数化;在 TweetEval 上,完整家族在 36 格里有 33 格高于单通道限制。作者明确把结果当探索性方向证据,n=3 复现方向一致但不显著。顶会 Findings 的诚实写法:给蒸馏门控一个公共坐标系,而不是再报一个 SOTA 点。
2609.11913 Distance generalization in transformers固定上下文长度、改变 token 间距,测 RoPE / ALiBi / NoPE 的距离外推;数据多样性(训练见过多少间距)比编码方案本身更关键。和 MindTopo 的「拓扑不变、度量可变」对照:位置编码处理的是度量距离,拓扑关系仍是空白。

我的判断

1. Agent 的瓶颈在「合法状态转移」,不在「再认一次场景」。 MindTopo 上开源模型规划接近地板、SFT/RL 几乎只抬推理、视频生成又不守动力学——这和「给 agent 加一个世界模型就行」的叙事冲突。短期更有效的是:把拓扑 / 连通 / 不相交写成环境校验器(像代码里的类型检查),而不是指望 VLM 在像素上内化 Piaget。

2. Thinking 长度是对齐税,不是免费能力。 ALR 随 L 单调上升,和上周报告里 Reasoning Tax / TES「高 effort 边际收益递减」是同一条曲线的安全和能力两侧。部署默认应限制推理预算,并在最终作答前把原始约束回锚(RRA 的 [X;Y;X] 是最小实现)。

3. 该测的是功能交接,不是终点分。MindTopo 的识别→规划、2609.11859 的路由→内容、2609.09030 的探索→承诺,都在说同一件事:终点正确率把不同失败机制压成一个标量。下一轮系统论文如果还只报 pass@1 / AIME,会漏掉真正可修的接口。

保留意见:(a) MindTopo 的规划环境是离散 gym,不是真实机器人;Untangle 评的是投影相交而非三维纽结类,不能直接外推到操作绳索。(b) 对齐文的扰动与越狱评测覆盖 Qwen3 / Llama2 / DeepSeek / Claude-Haiku-4.5 / GLM4.6,机制分析主要靠注意力与位置编码,作者自己承认不是全部原因。(c) RRA 把输入再拼一次,长上下文下的延迟和位置编码副作用未充分量化 [INFERRED]。(d) 2609.11768 的 n=3 复现不显著,不宜当蒸馏 SOTA 引用。

把两篇合起来看:2026 年 9 月的信号不是「模型还不够深」,而是深度被用在了错误的计算位置——静态识别和干净数学在变强,交互规划和对齐约束在变弱。