推理模型以「把思考外化成可见 token」（CoT / thinking mode）换取能力，但代价是推理成本随思考长度近乎线性上涨，且内部思考 token 往往占推理支出的最大头。本周两篇论文从两端动摇这个默认：Latent Recurrent Thoughts（arXiv:2609.01117）把迭代计算搬进冻结 LLM 的连续表征空间，仅用 11.2M 可训练参数，以约 1/9–1/450 的推理算力追平甚至反超 thinking mode；The Reasoning Tax（arXiv:2608.26235，TPCTC 2026）则给出 TES 指标，证明任务结构比名义难度更能预测 thinking token 是否回本。若两条线索合流，「思考必须写出来才有效」这一技术路线假设将被显著松动。
cs.AI / cs.CL新架构代码开源IQuest Research
Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs（Zhaoliang Chen, Jie Fu, IQuest Research）
arXiv:2609.01117 · 代码 github.com/czl-david/latent-recurrent-thoughts · 2026-09-01
CoT 推理在离散 token 空间展开，有三重限制：每一步必须被「说出口」才能提交；自回归生成使错误逐级传播；诱导出好轨迹的前提是存在可模仿的推理样本。把推理挪进模型的连续表征空间（中间状态是向量而非词）可绕开这些约束，但悬而未决的问题是：这些 latent 状态应当如何被计算出来？
SoftCoT、EBM-CoT 与 LRT 共用完全相同的接口、decoder、prompt、训练数据与预算（均值 ± 标准差，3 seeds；CD4/Sudoku 为精确求解率，HumanEval/MBPP 为 pass@1，StrategyQA 为准确率）：
| 方法 | Countdown-4 | Sudoku | HumanEval | MBPP | StrategyQA | Avg |
|---|---|---|---|---|---|---|
| Direct（无 CoT） | 27.8 | 17.3 | 13.4 | 28.7 | 67.4 | 30.9 |
| Zero-Shot CoT | 30.0 | 23.9 | 15.9 | 35.4 | 69.9 | 35.0 |
| SoftCoT（冻结 decoder） | 5.9 | 10.4 | 20.7 | 40.2 | 70.2 | 29.5 |
| EBM-CoT（冻结 decoder） | 8.4 | 17.2 | 25.0 | 46.1 | 71.0 | 33.5 |
| LRT（Ours） | 56.7 | 49.2 | 37.8 | 51.5 | 75.1 | 54.1 |
一句话结论：LRT 证明「小循环 latent 模块 + 冻结 decoder」可以成为 CoT 的廉价替代计算基座——迭代计算不必发生在 token 流里，也不必微调大模型。论文自限其主张：这是 per-task-family 训练、固定小推理预算下的对比，而非「潜空间推理全面碾压 test-time scaling」；thinking mode 作为标注参考点仍更强（除 Sudoku/MBPP），只是贵 1–2 个数量级。
cs.AI / cs.PF明确 venue：TPCTC 2026评测方法
The Reasoning Tax: Token Economics of LLM Reasoning Across Task Types and Deployment Contexts（David Ellison 等）
arXiv:2608.26235 · 2026-08-26 · 已收录 TPCTC 2026（Performance Evaluation and Benchmarking, Springer）
只用 accuracy 做基准，漏掉了部署的核心问题：多花的 thinking token 到底何时赚回成本？作者引入 Token Economy Score（TES），把推理模型相对非推理基线的精度增益除以 token 倍数——「每多烧一倍 token，换来多少精度」。
| 发现 | 证据 |
|---|---|
| 任务结构比名义难度更能预测推理效率 | 顺序推理链任务（AIME 2025、LiveCodeBench）TES 高；知识回忆任务（MMLU-Pro）再难也 TES 低 |
| 高 effort 区系统性边际收益递减 | 推理强度增加时 TES 下降，甚至出现「多想反而降精度」的案例 |
| 推理支出常被内部思考主导 | RCS 显示 thinking token 是推理总成本的大头 |
| 部署上下文改写经济学 | DCM 显示本地部署（无按量计费、缓存友好）能让高推理成本工作负载从「不可行」变「可行」 |
工程落点：按任务类型、effort 级别、部署上下文选择性开启推理，而不是把 thinking 当作默认全开模式——这给推理路由（AIME 类顺序推理开 thinking、MMLU-Pro 类知识回忆关 thinking）提供了第一个成体系的度量工具。
cs.AIAmazon / Duke
Extremely Sparse Supervision Incentivizes Reasoning Ability
arXiv:2609.04565 · 2026-09-03 · Zhishuai Liu（Amazon 实习）、Mehmet Saygin Seyfioglu、Pan Xu、Karim Bouyarmane
在 on-policy distillation（OPD）里，监督可以稀疏到什么程度？答案：每条轨迹只监督 1–2 个 token（约全部 token 的 0.05%），在 9 组师生配置（Qwen3 系，跨 1.7B–8B 学生与 4B–30B 教师）上多数情形匹配甚至反超全 token 训练；且推广到代码推理、Llama 家族与 PPO/RLVR。机制上两个反直觉点：监督量与性能呈非单调关系（极稀疏反而回升）；最优稀疏变体甚至增大师生 reverse KL——推理提升不能解释为「学生变得更像老师」。
与上周（09-04）报告的连线：上周核心论文一（2609.04172 One-Shot OPD）证明数据可少到 1 条 query（query 级稀疏），本周这篇证明监督可少到 0.05% 的 token（token 级稀疏）——同一反直觉在不同粒度上被独立复现。训练端与推理端（LRT / Reasoning Tax）的 token 密集假设同时在松动。
| 论文 | 要点 | 与本主题的关系 |
|---|---|---|
| 2609.04753 Beneath the Surface of CoT（EMNLP 2026 Main，NAVER AI，代码开源） | 推理操作（formulation / decomposition / deduction）在隐藏表征中几何可分、中层达峰值；attention-masking 干预给出因果证据——同一表层 token 因所在 chunk 的操作不同而表征不同 | 从机制侧印证「表征空间里确有可被计算/细化的结构」，与 LRT 的 latent 可迭代性互为表里 |
| 2609.04565 稀疏监督（见上） | 0.05% token 监督匹配/反超全量 OPD | 后训练端「token 密集」假设的实证松动 |
| 2609.05405 WearableQA（cs.CL） | 真实穿戴数据健康推理基准：4,084 道 10 选 1 题 / 200 名真实用户 / 最长 500 天纵向数据；16 类题型沿「数据 vs 健康推理」与「单信号 vs 跨信号」两轴；14 个模型仅 19.6%–72.9%（10% 随机基线），多数低于 60% | 推理评估正在向真实世界纵向数据迁移，「远未解出」是常态 |
| 2608.31075 Scaling LRMs beyond Human Supervision | 72 页分析：RLVR 向开放/agentic 任务扩展的奖励轴（可复用 verifier）+ 经验轴（自生成课程），L0–L4 五级阶梯，reward hacking / feedback drift / curriculum collapse 风险清单；维护持续更新的 awesome 仓库 | 推理模型下一步的监督来源问题，与稀疏监督（更少人工信号）同方向 |
1. 「思考必须可见」是工程约束，不是原理约束：LRT 把迭代计算塞进 11.2M 参数的循环网络、用冻结 LLM 解码，就在符号任务上做到 thinking mode 数百倍的性价比。这意味着推理成本曲线多了一条「潜空间」设计维度——而且论文明确 test-time scaling 类方法（self-consistency 等）与 latent 推理正交可叠加，「潜空间迭代 × 采样聚合」可能是下一个低成本推理组合。
2. 部署侧应默认关 thinking，按任务结构路由：Reasoning Tax 给出了可操作的选型规则。对跑 AIME 类顺序推理的 agent 开 thinking，对知识回忆/检索类任务关掉；同时把 thinking token 与输出 token 分开计量（RCS 表明内部思考常占大头，现有按 token 计费体系在为此买单但不可见）。
3. token 密集假设正在两端同时失效：训练端 0.05% 监督够用（本周）+ 1 条 query 够用（上周），推理端 TES 证明显式思考非普适、LRT 证明思考可脱离 token 空间——「效率型后训练与推理」会是接下来系统论文的主战场，成本结构而非 raw accuracy 将成为报告标配。
保留意见：(a) LRT 目前是 per-task-family 训练、5 项基准、8B 级冻结 decoder，frontier 级模型上的可扩展性与跨任务迁移未知；EBM-CoT 无官方实现，对比行是作者自复现（已按原文复现其 StrategyQA 71.0 校验），引用其绝对数字需谨慎。(b) Sudoku 上 thinking mode 仅 0.5 的对照是否公平（thinking 模式与约束满足任务的适配性差）需读原文判断，不宜直接当作「潜空间吊打 thinking」的证据。(c) TES 用 token 倍数做分母，对 API 计价结构（输入/输出/缓存价差）敏感，跨厂商比较需统一价格假设 [INFERRED]。(d) 稀疏监督结论基于 Qwen3/Llama 的数学/代码域，reward hacking 与域外失效风险未被覆盖。
把训练端与推理端合起来看，本周信号一致：2026 年下半年的推理竞赛，比的不再只是谁想得更深，而是谁能在不写那么多 token（甚至不写 token）的情况下想得一样好。