本期 arXiv 新提交里能看到两条清晰的暗线:一是 Agent 正从「提示词循环」转向由预测式世界模型驱动的递归自我改进,并且强调对更新后策略—模型对的保留与兼容性校验;二是形式化保证正在回归生成过程——不再是事后过滤,而是在解码时维护一个可完成、可接受的路径。两者共同指向同一个方向:可靠性,而非单纯的规模。
递归自我改进(RSI)的目标是让交互经验沉淀为持久的能力提升,但外部反馈昂贵,且随着策略演化,世界模型的预测会逐渐失准。该工作提出 RSI-Anything,一个建立在 JEPA-Anything 之上的领域通用框架:用预测式世界模型来指导动作选择与学习数据筛选;观测到的反馈同时驱动「策略/工作流改进」和「条件式世界模型自适应」;并通过组件与兼容性校验来管理「更新后的策略—模型对」是否应当被保留。
关键设计在于把「经验复用」与「世界模型可信度」解耦:只有当新的策略—模型组合通过兼容性检查时才会被并入系统,从而缓解策略与世界模型互相追尾导致的退化。
| 任务 / 场景 | 基线与设置 | RSI-Anything 结果 |
|---|---|---|
| 代码修复(编码器固定) | 静态验证器 26.3% | 预测式筛选 29.2%,世界模型自适应后 31.2%(测试用量相当) |
| GUI 任务完成 | — | 完成率更高,平均操作步数下降 39.4% |
| 实验室规划(连续 5 个策略版本) | 21.80% | 46.01%(翻倍以上) |
| 反应条件优化(同等 40 次实验预算) | 贝叶斯优化 82.16% | 96.15%(最佳观测产率均值) |
论文还给出端到端的免疫科学应用,把工作流演化、预测建模与治疗假设生成连接起来。代码已开源于 Gen-Verse/RSI-Anything。
神经语义解析按 token 生成意义表示,但良构性取决于生成过程中逐步展开的指代、作用域与图关系。已有的约束解码只能阻止「局部非法」的 token,却无法保证「合法前缀能在固定输出长度内被完成」。该论文在 DRS 解析的三个阶段(解码、事后处理、训练)引入结构自动机,并在 AMR 上也做了评估。
解码阶段的贡献是 接受路径解码(Accepting-Path Decoding, APD):始终在剩余长度限制内维护一个已验证的完成路径,当模型偏好的 token 也能被完成时优先采纳它。APD 保证在不回退 token 的前提下产出可接受结果——这与需要回退(rollback)的方案形成本质差异。
| 设置 | 对比方法 | APD 提升 |
|---|---|---|
| DRS(紧长度限制) | 局部 masking | Smatch++ +5.1 / +2.4 |
| AMR(紧长度限制) | 局部 masking | Smatch++ +6.4 / +3.2 |
| 训练阶段 | 仅交叉熵 | 惩罚自动机拒绝的 token,训练前 10% 时 Smatch++ 提升 3.6–11.0 |
视觉语言模型越来越多地被用于图像分析与推理,但其内部表征是否忠实编码了推理所需的结构化关系,此前并不清楚。作者提出 EICS(Evaluation-Invariant Concept Stability)指标,用受控的单概念干预检验表征是否稳定编码某概念;并构建 CASP-VL 基准——基于 Visual Genome 场景图、因果受控的空间扰动。
在多种 VLM 架构上的一致发现是:空间关系被表征的忠实度显著低于词汇信息,即使这些模型在组合式基准上远高于随机水平。进一步分析显示,关系在谓词自身的 token 处可识别,但一旦句子被聚合为全局表示(无论经 EOS token 还是平均池化)就丢失了。
| 论文 | arXiv | 要点 |
|---|---|---|
| 多 Agent LLM 系统自动调参专用神经网络 | 2610.13663 | analyst / coder / recorder 三角色 + 实验日志 + 沙箱;只改关键组件、保持整体网络结构。MNIST 分类 +13 点、Digits +6 点;GNLSE 单孤子误差降低约 2491 倍、不变量保持误差约 325 倍。 |
| 语言模型能玩维基百科游戏吗? | 2610.13948 | 用 Wikipedia Game 测信息检索导航;构建大型本地 Wiki/引文图(OpenAlex),不依赖第三方 API;无人(模型)显著超过人类,GPT-o3 mini / GPT-4o / QwQ:32B / DeepSeek-R1:70B 与人类相当。 |
| KG 引导多任务预训练增强法律推理 | 2610.13722 | NSP + KG 引导聚类 + KG 感知段落分类,把结构化法律知识写进权重;德语 StVO 上相对提升 10.3%–155.0%,LexGLUE 七项中四项超过此前结果。NLLP 2026(EMNLP 2026 同址工作坊)接收。 |
| 话语助词敏感性:不止是一次评估 | 2610.13794 | 行为 + 机制分析 LLM 对 "just"/"only" 的敏感性;指令微调提升敏感性;定位到粒子敏感单元,二者重叠不对称——"only" 单元可选择性迁移到排他义 "just",反之则不然。 |
这三条主线其实可以放进同一个框架理解——「把可靠性内生化」。RSI-Anything 把可靠性做进了系统演化循环(保留机制);Structural Automata 把可靠性做进了解码过程(可完成路径);VLM 那篇则是在提醒:不做内部表征层面的检验,输出分数会掩盖系统性缺陷。