世界模型驱动的递归自我改进,与重回形式保证的语义解析

2026-10-13 · 每日调研 · 论文与技术原理 · 数据源 arXiv cs.AI / cs.CL recent

为什么重要

本期 arXiv 新提交里能看到两条清晰的暗线:一是 Agent 正从「提示词循环」转向由预测式世界模型驱动的递归自我改进,并且强调对更新后策略—模型对的保留与兼容性校验;二是形式化保证正在回归生成过程——不再是事后过滤,而是在解码时维护一个可完成、可接受的路径。两者共同指向同一个方向:可靠性,而非单纯的规模。

结论:这一批工作关心的核心问题变成了「系统能否在自身演化中保持正确」,而不是「能否刷出更高的分」。评估对象也随之从输出分数,转向内部表征与生成过程的可验证性。

核心论文解读

1. RSI-Anything:用世界模型解锁递归自我改进 arXiv:2610.13912 有代码

递归自我改进(RSI)的目标是让交互经验沉淀为持久的能力提升,但外部反馈昂贵,且随着策略演化,世界模型的预测会逐渐失准。该工作提出 RSI-Anything,一个建立在 JEPA-Anything 之上的领域通用框架:用预测式世界模型来指导动作选择与学习数据筛选;观测到的反馈同时驱动「策略/工作流改进」和「条件式世界模型自适应」;并通过组件与兼容性校验来管理「更新后的策略—模型对」是否应当被保留。

关键设计在于把「经验复用」与「世界模型可信度」解耦:只有当新的策略—模型组合通过兼容性检查时才会被并入系统,从而缓解策略与世界模型互相追尾导致的退化。

任务 / 场景基线与设置RSI-Anything 结果
代码修复(编码器固定)静态验证器 26.3%预测式筛选 29.2%,世界模型自适应后 31.2%(测试用量相当)
GUI 任务完成—完成率更高,平均操作步数下降 39.4%
实验室规划(连续 5 个策略版本)21.80%46.01%(翻倍以上)
反应条件优化(同等 40 次实验预算)贝叶斯优化 82.16%96.15%(最佳观测产率均值)

论文还给出端到端的免疫科学应用,把工作流演化、预测建模与治疗假设生成连接起来。代码已开源于 Gen-Verse/RSI-Anything。

最值得注意的不是单个数字,而是「保留机制」:系统只有在策略与世界模型互相兼容时才固化更新。这为「持续自我改进会不会自我崩溃」提供了工程化答案。

2. Structural Automata:用结构自动机保证语义解析的可完成性 arXiv:2610.13896

神经语义解析按 token 生成意义表示,但良构性取决于生成过程中逐步展开的指代、作用域与图关系。已有的约束解码只能阻止「局部非法」的 token,却无法保证「合法前缀能在固定输出长度内被完成」。该论文在 DRS 解析的三个阶段(解码、事后处理、训练)引入结构自动机,并在 AMR 上也做了评估。

解码阶段的贡献是 接受路径解码(Accepting-Path Decoding, APD):始终在剩余长度限制内维护一个已验证的完成路径,当模型偏好的 token 也能被完成时优先采纳它。APD 保证在不回退 token 的前提下产出可接受结果——这与需要回退(rollback)的方案形成本质差异。

设置对比方法APD 提升
DRS(紧长度限制)局部 maskingSmatch++ +5.1 / +2.4
AMR(紧长度限制)局部 maskingSmatch++ +6.4 / +3.2
训练阶段仅交叉熵惩罚自动机拒绝的 token,训练前 10% 时 Smatch++ 提升 3.6–11.0
需要注意的边界:训练阶段的收益会随训练推进而衰减——仅靠交叉熵本身就会把被拒 token 的概率从 14% 压到 2% 以下(数据受限时)。也就是说,显式结构约束主要在早期与低数据场景有价值。

3. VLMs 是否忠实编码了空间关系? arXiv:2610.13910

视觉语言模型越来越多地被用于图像分析与推理,但其内部表征是否忠实编码了推理所需的结构化关系,此前并不清楚。作者提出 EICS(Evaluation-Invariant Concept Stability)指标,用受控的单概念干预检验表征是否稳定编码某概念;并构建 CASP-VL 基准——基于 Visual Genome 场景图、因果受控的空间扰动。

在多种 VLM 架构上的一致发现是:空间关系被表征的忠实度显著低于词汇信息,即使这些模型在组合式基准上远高于随机水平。进一步分析显示,关系在谓词自身的 token 处可识别,但一旦句子被聚合为全局表示(无论经 EOS token 还是平均池化)就丢失了。

这是一个输出指标看不见的系统性失败:模型在自己的输入里明显存在的关系信息,却没有保留到下游真正使用的表征中。对依赖内部表示的检索、规划类应用,这是一个警示信号。

相关工作速览

论文arXiv要点
多 Agent LLM 系统自动调参专用神经网络2610.13663analyst / coder / recorder 三角色 + 实验日志 + 沙箱;只改关键组件、保持整体网络结构。MNIST 分类 +13 点、Digits +6 点;GNLSE 单孤子误差降低约 2491 倍、不变量保持误差约 325 倍。
语言模型能玩维基百科游戏吗?2610.13948用 Wikipedia Game 测信息检索导航;构建大型本地 Wiki/引文图(OpenAlex),不依赖第三方 API;无人(模型)显著超过人类,GPT-o3 mini / GPT-4o / QwQ:32B / DeepSeek-R1:70B 与人类相当。
KG 引导多任务预训练增强法律推理2610.13722NSP + KG 引导聚类 + KG 感知段落分类,把结构化法律知识写进权重;德语 StVO 上相对提升 10.3%–155.0%,LexGLUE 七项中四项超过此前结果。NLLP 2026(EMNLP 2026 同址工作坊)接收。
话语助词敏感性:不止是一次评估2610.13794行为 + 机制分析 LLM 对 "just"/"only" 的敏感性;指令微调提升敏感性;定位到粒子敏感单元,二者重叠不对称——"only" 单元可选择性迁移到排他义 "just",反之则不然。

我的判断

这三条主线其实可以放进同一个框架理解——「把可靠性内生化」。RSI-Anything 把可靠性做进了系统演化循环(保留机制);Structural Automata 把可靠性做进了解码过程(可完成路径);VLM 那篇则是在提醒:不做内部表征层面的检验,输出分数会掩盖系统性缺陷。

我的判断:接下来值得跟踪的信号有三类——(1) 世界模型与策略的「兼容性校验 / 保留策略」是否会成为 Agent 框架的标配组件;(2) 形式化约束解码能否从语义解析迁移到更通用的工具调用与结构化生成;(3) 像 EICS 这样的「表征级」评估,会不会替代一部分行为级 benchmark 成为模型上线的准入门槛。
风险提示:上述结论多来自单一论文的自报结果,覆盖面(语言、领域、模型族)有限;尤其是自动机训练收益随训练推进而衰减、VLM 空间表征结论是否随模型规模改变,都需要更多独立复现。