生产里的 frontier 模型经常是冻住的：外部 API 改不了权重，自托管也不值得为一条工作流去微调。本周 cs.AI recent 里两篇新方法把这件事拆开了。Designer-RSI 说明，围着冻住的模型改一份自然语言技能库，加上保守的回放门，就能在没有人工标签的用户流量上持续变强。PIR 说明，同一类模型的输出不能告诉你它是不会，还是不肯说。前一篇管「技能文件该怎么进化」，后一篇管「评测和卸载不能只看答案」。
结论：文档里抄出来的技能，冷启动时打不赢「没有技能」。技能要在流量上同时做两件事——给反复漏掉的子任务补新技能，再按失败史改旧技能——而且只接受「修好失败、不打坏已有成功」的改动。与此同时，模型答错不等于它不认识正确答案；内部识别方向可以把「藏着」和「真卸掉了」分开，但白盒探针挡不住专门来混淆激活的对抗训练。
Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design（Hongyang Du, Lan Yan, Christian Flores, Asim Kadav）
arXiv:2609.22086 · 2026-09-18 · cs.AI recent
专业平面设计没有可执行的成功预言机。一条 brief 要几十个互相依赖的工具调用，终端分数分不清是哪一步错了；风格、层级又只能被自动评分器部分抓住。作者因此不改模型，改模型外面的程序记忆：一份自然语言技能库，每条技能介于「单次工具调用」和「整条轨迹」之间，具体到能指导执行，又一般到能迁移。冻住的 frontier 模型通过 230 多个工具操作 Photoshop / Illustrator / InDesign 的等价物。权重、工具、渲染器、评分器都固定，只有 SKILL.md 在变。
进化沿两条轴走，提案和准入分开：
k_min=3 次，才蒸馏成候选技能。被拒的候选丢掉，出现次数留在池子里，下一轮还能再攒。τ=0.6，就算它检索到的每条技能的一次失败。失败次数达到 m=2 的技能优先改写。改写不是对着失败文本空想，而是拿同一技能在相似任务上成功调用的工具序列、中间状态和 thinking，对照失败理由做差异编辑。反复过不了门，就升级成整篇重写；仍失败则可选探索一轮，结局是更新、删除，或把改不好的记录送回加宽的覆盖池。(不存在输掉的 prompt) ∧ (存在赢下的 prompt)重写必须修好失败，同时不打坏已有成功。这是生产里回归的不对称成本，不是「平均分涨了就合并」。
| 臂 | 完整度 | 对 Base 胜率 | 读法 |
|---|---|---|---|
| Base（无技能） | 69.08 | — | 对照 |
| 文档冷启动 76 条 | 68.62 | 46.4% | 没写进流量的技能，不比没有强 |
| 只改写 | 69.02 | 48.6% | 单轴接近噪声 |
| 只加新技能 | 69.79 | 49.4% | 单轴接近噪声 |
| 两轴一起（76→139） | 74.04 | 58.5%（p=0.025） | 相对冷启动 +5.42；交互项 +3.85 |
五轮、1,406 条不重叠 brief、1,869 条自动评分轨迹，没有人工奖励标签。200 条留出的人类 brief 固定不动，所以每轮加减技能都对着同一靶子。Claude-Sonnet-4 上 GenEval2 执行成功率从 72.7% 到 99.3%，生成质量另计 +11.99。四个设计基准上，相对无技能 agent 的胜率：Sonnet-4 为 61.8%，Opus-4.6 为 67.6%。完整度阈值 τ=0.9 处，相对 Base 最大 +13 个百分点。审美分几乎不动（65.92→66.53）。检索让 prompt token 比 Base 多约 28%，但进化后的库比冷启动更省（436.6k/5167 vs 445.2k/5298），因为少了纠正性重试。骨干还包括 Qwen3.6-27B。动态上也说得通：第 1 轮几乎全是修补，缺口还没攒够 3 次；第 2–3 轮铸造高峰；覆盖饱和后回到加深。
注意：作者自己写了边界。自然语言技能描述得了偏好流程，但模型有强默认策略时，检索注入不一定被执行。精细几何操作同时受感知和自动验证限制；长流程在多步执行里会丢保真。回放门只对评测过的 case 局部成立，拒绝已观察到的回归，不等于在全量用户分布上单调变好。GenEval2 的 72.7%→99.3% 是执行成功率，不要和审美或「设计变好了」混读。过筛依据是新方法，不是公开代码星数。
一句话：可迁移的不是 Photoshop agent，是这条准入规则——绝对分不进门，上游状态冻住，成对比较，且必须「有赢、无输」。文档技能冷启动打不赢空技能，是比胜率数字更硬的结果。
A Lie Detector Test for Language Models: Reading Knowledge a Model Won't Reveal（Hiskias Dingeto）
arXiv:2609.21996 · 2026-09-18 · cs.AI recent
能力评测默认模型在尽力答。这个假设会失败：sandbagging、密码锁定、电路打断，都可以让输出和「从来不会」无法区分。卸载也一样——想确认危险知识是没了，还是只是不说。行为解决不了这个问题，所以要读内部状态。
已有真值探针多半要监督、要标注真值语料，或要另一个诚实模型，而且主要测陈述句真伪，没有拿来分开「藏着」和「擦掉」。PIR 借用法医的隐蔽信息测试：把真细节和合理诱饵一起给人看，认得出的那一项反应更强。模型内部的做法是：题目和选项一起送入，读每个选项最后一个 token 的残差流 x_j。在模型自己答对的题集 K 上拟合识别方向，层用题目不交的交叉验证选出：
w = mean( x_correct − mean(x_distractors) )
r_j =
recognized = argmax r_j 诱饵提供对比，所以不需要外部真值语料，也不需要另一个诚实参考模型。摘要里的 reference-free 是这个意思，不是「完全无标签」：K 的正确选项下标来自模型在诚实条件下自己答对的题。
八个模型、五个家族（Gemma、Qwen、Llama、Mistral、Phi），恢复被识别答案的平衡准确率 0.70–0.87，高于未知题基线 0.28–0.40，也高于 0.25 的随机。提示欺骗、训练出的 sandbagging、外部密码锁定和电路打断检查点上，识别仍在 0.85–0.93。藏着已知答案时识别保持高；卸载把知识拿掉后，识别掉到「这题从来不会」的水平，RMU 最彻底。同一读数因此能分开「不肯答」和「不能答」。沿识别方向做转向会改变答案，匹配的输出方向对照则不会，所以这个方向是模型在用的，不是旁路相关。自由生成时，候选从模型自己的采样里重建，不再依赖题目给好的选项。分歧检测器用模型自己的 base checkpoint 校准，比较「内部认出的答案」和「实际输出」。
注意：这是审计信号，不是对故意混淆激活的模型的防御。论文写明，白盒对手可以优化激活绕过潜空间探针；专门训练来混淆识别方向的模型可以打败 PIR。卸载把识别压到未知基线，作者不声称权重永远不能被重新学回来。过筛依据是新方法。没有公开代码链接。
一句话：输出相同的两种失败——藏着，和真不会——在识别方向上分开。探针给出的是「它认出了哪个选项」，不是一个欺骗布尔值。对抗训练可以关掉这个读数。
| 工作 | id | 点 | 和今天主线的关系 |
|---|---|---|---|
| AutoViewMem | 2609.21940 | 把长期对话记忆在写入时拆成低重叠的语义视图，而不是检索时再路由。LoCoMo / PersonaMem，Qwen3-8B 与 14B | 记忆对象是事实和偏好，不是可执行流程。和 Designer-RSI 互补：一个解语义混杂，一个解程序覆盖 |
| LogicTrack | 2609.21492 | 把 CoT 每步自动形式化，用定理证明器审计；Solver-Based Backtracking Reward 做步进打分。8 个推理基准、7 个 LLM | 审的是轨迹逻辑，不是内部是否认出答案。结果对、中间步假，是另一类「表面正确」 |
| On Emergent Capabilities and Model Merging | 2609.24504 | 同日晚交。两边都有的涌现能力，合并后大体保留；单任务 oracle 的加权合并到不了联合训练的审计能力；只有一边有的涌现，被稀释得比伴随的训练能力更快 | 权重算术不能凭空造出超加的涌现。Designer-RSI 的超加发生在技能文本上，不在权重上 |
| 1% of Tokens Can Be Enough | 2609.24432 | 稀疏 on-policy 蒸馏不只看 token 有没有用，还看梯度估计的信噪比（IER）。0.1%–1% token 预算可打平或超过全量 OPD。代码：IER-OPD | 同日另一条「少监督」线。和技能进化相反：它改的是学生权重，而且只在梯度可靠的 token 上改 |
两篇合成一条操作规则：冻住的模型上，该进化的是外部程序，该审计的是内部识别，两者都不能用「它刚才说了什么」代替。
可执行的下一步很小，不必复现 230 工具的设计 agent。挑一批已有技能：用无技能臂做对照，冻住同一批上游上下文，只看「失败是否被修好、已有成功是否被打坏」。文档技能若打不赢空技能，就不要默认注入。内部识别探针留到有权重的模型上再做，而且默认它会被对抗训练绕过。