Program-as-Weights：0.6B 小模型如何匹配 32B 大模型

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

作者：Yuntian Deng（领衔，含完整的 PAW 团队）· 分类：cs.LG / cs.CL · 代码：随论文同步开源 FuzzyBench（10M 示例）

关键技术点

• 范式重定义：模糊函数（fuzzy function）指难以用确定性规则实现、又不必动用通用 LLM 的任务。PAW 把这类任务"编译"成"参数高效适配器 + 冻结的小解释器"。
• 三件套架构：4B 编译器（把自然语言规格书变成 LoRA 适配器）+ 0.6B Qwen3 冻结解释器 + FuzzyBench 训练集（10M 合成样本，覆盖日志告警/JSON 修复/排序等任务族）。
• 调用经济性：编译器每条函数调用一次,解释器每次应用调用——大部分推理走本地 0.6B,只有"编译"那一跳需要 4B 模型。
• 性能对标：0.6B Qwen3 + PAW 适配器 ≈ 直接 prompt Qwen3-32B;内存约 1/50;MacBook M3 端到端 30 tokens/s。

局限性

• 编译开销未量化：论文给出 inference 侧的 50×,但 4B 编译器一次编译的端到端耗时/成本没单独报告。对一次性任务未必比直接调 32B API 划算。
• 任务边界模糊：FuzzyBench 覆盖"模糊函数"但缺乏清晰判据——什么任务值得编译、什么任务仍应走通用 LLM,工程化指南缺失。
• 泛化到非 Qwen 系列未验证：解释器选择冻结的 Qwen3-0.6B;换成 Llama / Gemma / 国产 0.6B 是否同样适配,无对照实验。
• 10M 数据合成方法：合成管线本身的细节（覆盖度、去污染、避免 shortcut）交代较薄。

Guiding Symbolic Solvers with Recurrent Reasoning Models (G-RRM)

方向：神经符号混合 · 作者：Timo Bert 等

SE-RRM（symbol-equivariant recurrent reasoning model）作为神经求解器给 SAT/Sudoku 求解器提供分支引导,在 9×9 Sudoku 上把 backtracking 加速 33.3×,Glucose 4.1 加速 1.70×。与 PAW 同属"小模型 + 外部引擎"路线,但 PAW 用小模型执行模糊函数,G-RRM 用小模型引导精确求解器。两者都验证了"用合适的工程组合替代堆参数"。

DramaSR-LRM: Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas

方向：LRM + 多模态工具 · 作者：Zhilin Wang / Lingxi Xie 等 · 接收：ICML 2026

DramaSR-LRM 让大推理模型自主聚合声纹/语言/视觉线索,完成 532K 对白行、900+ 角色的归属任务。代表"重推理 + 工具调用"路径——和 PAW 的"轻推理 + 编译产物"形成对比。两者一起读可以看到当前 LLM 应用的两极分化趋势。

LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning

方向：参数级 unlearning · 作者：Matteo Boglioni 等 · 基准：OLMo-1B / OLMo-7B

在 OLMo 系列上注入合成 PII 到预定义参数,用 gradient ascent 等方法 unlearning,发现现有 SOTA 在参数级精度严重不足、易被 resurfacing 攻击重新挖出。LACUNA 进一步揭示:只要 localization 做对,简单的梯度方法就能做到强擦除。这与 PAW 的"参数即程序"思路互为印证——既然参数可以被精准定位/编辑,把它当作可编译产物就是自然延伸。