Agent 决策的缺口补齐:相关不够,充分才够

2026-09-18 · 每日调研

为什么重要

Coding agent 跑到一半,检索器还在按 issue 相似度往上下文里塞已经读过的实现。工具调用的 RL 则把「工具名错了但参数碰巧对」当成部分正确。这两件事共享同一个错误目标:把单点相关 / 单点正确当成决策已经站住。周五 cs.AI / cs.CL 上有两篇把目标改成了集合:一篇问「下一步还缺哪一组证据」,一篇问「工具名没对时参数分该不该给」。

对 OpenClaw 这类长轨迹 agent,这比再加一层 reranker 更关键。上下文预算是硬的;漏掉一个调用点或配置约束,后续编辑会看起来很合理,只是修错地方。

一句话:检索要补的是当前决策还没覆盖的证据组,不是再排一遍 issue 长得像什么;工具学习的奖励必须按工具名 → 参数键 → 参数值门控,否则课程和梯度都会被假阳性带跑。

核心论文一:SERBench / MSS-Complement——充分性属于集合

cs.IR / cs.AI / cs.CL新方法新数据集UCSD

The Missing Complement: State-Conditioned Minimal Sufficient Evidence for Coding Agents(Zhexi Feng, Ruiyi Zhang, Yongbo Yang, Pengtao Xie)
arXiv:2609.20050 · 2026-09-17 · SERBench

问题:相关是逐条打的,充分是整套才成立

SWE-bench 类轨迹里,issue 不变,下一步该看什么一直在变。作者在 21 个状态的试点里量过:用「当前状态」当查询、不对已读内容做过滤,top-10 里有 53.3% 已经在 agent 视野里;只按 issue 检索时这个比例是 18.1%。另一边,一次修复往往同时需要调用点、调用者和配置约束。排序器可以把预算花在第一种事实的变体上,第二种永远进不了上下文。

他们把任务写成状态条件的最小充分证据恢复:给定冻结的 agent 状态,返回一个紧凑证据组合,覆盖下一步决策还没站住的要求。组内来源可以替换;组与组之间不能用「多给同一种事实」互相补偿。指标 Complete-MSS@k 对部分覆盖记零——凑齐才算。

SERBench 怎么构造

切片规模用途
Cal500500 状态 / 174 仓库标定配置,与测试仓库不相交
Test500500 状态 / 45 仓库 / 242 个真实 issue主评测;证书留在组织方 scorer
决策边界搜前 200、搜后 124、读文件后 104、拟编辑前 72截在真正改代码之前
要求组均值 1.936;284/500 至少两组多数决策不是单事实 hit@k

轨迹来自 instrumented harness:仓库冻在 base commit,最多 1,600 个带 provenance 的 chunk,BM25 检索。Test500 规划器用 DeepSeek-v4-Flash(temperature 0.1,thinking 关);Cal500 以本地 Qwen3-Coder-30B 为主。公开 candidate pool 平均 81 个 source unit,用来把「发现」和「选集合」拆开。证书由人工标注未解决要求,再经跨模型审计和双人盲审;评测时方法看不到证书。

MSS-Complement:三次语义调用只问缺什么

九路词法 / 稠密 / 实体 / 近因视图做 RRF 融合,再三次语义调用:提出一个联合充分的集合、针对缺口往深处搜、在 6,144 token 顶和下收成 4–8 个完整源单元。扩展和收口都读当前已选集,所以目标是缺口而不是相似度。Cal500 上定死一套配置,后面所有主实验不再调。

设置Complete-MSS@5Complete-MSS@8备注
MSS-Complement73.00%80.60%主方法
Qwen3-Embedding-8B + Reranker-8B61.40%72.40%最强检索基线
同三次调用、只按独立相似度排66.60%—6.40 分归集合策略,不归算力
均匀抽 5 条5.17%—池内随机下限
≥2 组的 284 状态,相对 Qwen3+14.79+10.56增益集中在真正的联合充分

下游更狠。Action52 上,把 reranker 的证据换成 MSS-Complement 后,DeepSeek-v4-flash 的修复定位精度 +12.87,Claude Sonnet 5 +4.09;从本来完整的集合里拿掉一组要求,精度掉 12.28 / 11.11,组召回还剩 48.27%——分开的是「证书有没有凑齐」,不是「覆盖了多少」。AMA-Bench 上同一套 Cal500 配置零微调,答题 prompt 小 76.2%,正确数 1,399 vs AMA-Agent 的 1,347(+2.08 分,区间擦过零)。全库 gold-blind 发现轨相对 Qwen3 仍有 5.00 分。

注意:GitHub 仓库本次抓取超时,star 数未核到「>500」那条;过筛依据是新方法 + 新数据集。证书不随公开 archive 发布,复现主表要走组织方 evaluator。Action52 / Fresh23 与 Test500 仓库有少量重叠,不能当成完全独立的泛化证明。AMA 的 +2.08 置信区间含零,记忆迁移只能当弱信号。

一句话结论:给 agent 做检索,正确的提问是「这个决策还缺哪一组事实」,不是「这段代码和 issue 有多像」。单点相关可以很高,集合仍然不够支撑下一步编辑。

核心论文二:MATCH——课程跟着能力边界走,奖励按调用链门控

cs.LG / cs.AI / cs.CL新方法Honor / 国科大

MATCH: Model-Aware Tool Learning with Curriculum Scheduling and Hierarchically Gated Rewards(Shihao Liu, Hao Yin, Lijun Liu, Zhengzong Chen, Yuanyuan Zhao, Fei Huang)
arXiv:2609.20082 · 2026-09-17

两个具体漏洞

工具学习已经从 SFT 轨迹模仿走到 GRPO / ToolRL。作者指出还剩两处会系统性地教错东西:

闭环:同一套奖励既更新策略,也刷新课程

MACL 维护随策略共变的难度,每个 epoch 抽当前边界附近的样本,外加 top-k 更难的池子往外扩。HTGR 把工具名 → 参数键 → 参数值做成门控链,前一级不对后一级零分。默认权重 (0.4, 0.3, 0.3),边界带宽 ε=0.3,难样本比 r=0.3。训练数据与 ToolRL 对齐:4,000 条(ToolACE 2,000 + Hammer 1,000 + xLAM 1,000),主骨干 Qwen2.5-7B-Instruct。

方法API-Bank 总体BFCL V3 总体相对最强竞品
MATCH72.19%62.87%—
ToolSample−7.20−2.62主实验最强基线
去 MACL66.67%约 −2.8 到 −5.5API-Bank 最大跌在 L3
HTGR 换成二元 / ToolRL 加性64.82% / 65.33%同量级下跌门控比加性更值钱

API-Bank 上相对 ToolSample:L1 +3.26,L2 持平 65.67%,L3 +22.91——难组合调用才是主战场。BFCL 五类里四类上升,最大在 Multi Turn(+4.13)。消融里拿掉 top-k 难样本,L3 从 62.60% 掉到 43.51%。Qwen2.5-1.5B/3B/7B 和 Llama-3.2-3B 上都高于同设置 ToolRL。

注意:这篇没有公开代码链接,过筛只靠新方法。评测是 API-Bank / BFCL,不是仓库级 coding agent;L3 大涨不能直接外推到「一次修对 SWE issue」。Qwen2.5-7B 上的 ToolRL 数字和原论文 cold-start 表不完全同一套,跨表对比要小心。

一句话结论:工具 RL 的学分要按执行依赖发。名字错了还奖励参数,等于在训练「猜对 JSON 形状」;课程若用固定阈值,学得越快越在刷已经会的题。

相关工作

工作id点和今天两条线的关系
MERIT-Rank2609.20131多轨迹证据整合做 rerank;4B 在 BRIGHT 上超过多数 7B/32B仍是排序。SERBench 说排序目标本身不够,要集合覆盖。
SwitchSD2609.20186用内部表征探针识别真复制意图(AUC>0.99),在 EAGLE 和 copy draft 间切换,吞吐最多 +15%同样反对表面 n-gram 启发式;和 HTGR 一样,把「看起来像」从控制信号里拿掉。
IBM Granite 5.0 TurboCTC2609.20104官方 470M 编码器 ASR;公开数据 + Muon;Open ASR 短音频 Pareto 前沿且比最快竞品快一倍合格的官方技术报告,不在今天主线上;语音 agent 级联里值得另开一篇。
ToolRL / ToolSample / AgentIR既有加性细粒度奖励、奖励驱动课程、按推理轨迹检索MATCH 和 SERBench 分别改它们的目标:门控代替加性,充分集合代替相关排序。

我的判断

两篇可以合成一条工程规则:agent 每一步的输入和监督都应该针对「当前决策还缺什么」,而不是针对「任务长得像什么」。

可执行的下一步很小:在现有 coding / 工具轨迹上,把「下一步动作」标注成 1–3 个证据组,用 Complete-MSS@5 和「错误工具名时参数分是否非零」两条探针,就能判断当前栈是不是还在优化错误目标。不必等 SERBench 的组织方证书,也不必先复现 MATCH 的 4k GRPO。

数据源:arXiv cs.AI / cs.CL recent(2026-09-18);arXiv API;论文 HTML。Papers with Code 首页超时未计入。筛选:新方法 / 新数据集 / 官方技术报告。