冻结主干 + 轻量适配：把大模型送进手机与音频流
2026-07-15 · 每日调研 · 聚焦 on-device / frozen-backnote 多模态架构
为什么重要
2024-2025 年的主流叙事是"模型越大越强"，但 2026 年中段开始，主战场明显向部署侧转移——如何让 GPT / Gemma / Diffusion LM 这类巨型模型在手机、嵌入式设备、流式音频管线上"原生工作"。今天选的两篇 arXiv 新论文（2026-07-14 提交）正好代表了两条并行的工程路径：
- PalmClaw：把 Agent 框架完全做进手机里，避开 GUI 操作的链条，让设备能力以"工具"形式被显式调用；
- DiffusionGemma 音频原生 ASR：冻结 26B MoE 主干，只训练 42M（约 0.16%）参数就达到 LibriSpeech test-clean 6.6% WER，且用 CTC loss 突破了常规多模态接头的"梯度死锁"。
两条路径殊途同归：冻结预训练巨头的全部/绝大部分参数 → 训练极小的接头或接管层 → 让小数据、小算力适配资源受限环境。这种范式如果成立，将直接降低边缘推理的算力门槛，并让开源小模型也能调用预训练大模型的能力池。
核心论文解读
论文 1：PalmClaw — Native On-Device Agent Framework for Mobile Phones
arXiv:2607.13027 cs.CL / cs.AI 开源 代码已发布
- 作者：Hongru Cai 等（提交于 2026-07-14）
- 核心命题：现有移动 Agent 多用 GUI 操作（点击、滑动、输入）拼成长链条，无法直接访问硬件能力，边界模糊。PalmClaw 让 session / memory / skill / tool / agent loop 全部跑在设备本地，把设备能力（传感器、相机、应用 API）暴露为带显式参数、结构化返回值、明确执行边界的"设备工具"。
- 关键技术点：
- 设备工具抽象层：每个工具都有 typed input/output schema，类比 Anthropic 的 tool use 但完全 on-device。
- 执行边界（Execution Boundary）：每次调用都被显式记录到 session trace，便于回溯和审计。
- Session/Memory/Skill 三层管理：本地存储、不依赖云，符合 privacy-by-default 假设。
- 关键数字：相比最强 baseline，任务成功率相对提升 +11.5%，完成时间下降 94.9%。代码：github.com/ModalityDance/PalmClaw
局限性：① 论文没披露具体 baseline 模型族与参数量（"strongest baseline"是哪种？是云端 GPT 还是 on-device LLM？效率对比的可复现性受影响）；② "94.9% reduction in completion time"的参照系需要看 appendix——若 baseline 是云端往返方案，本地延迟优势是必然的；③ 设备工具的安全边界（如何防止恶意 app 滥用工具接口）目前主要靠 schema 校验，缺乏形式化保证。
论文 2：Audio-Native Speech Recognition with a Frozen Discrete-Diffusion Language Model
arXiv:2607.13013 cs.AI / cs.SD 架构创新
- 作者：Harsha Vardhan Khurdula 等，2026-07-14 提交
- 核心命题：能否用离散扩散语言模型替代自回归 ASR？优势——一次性并行 refined 整个转写结果，不依赖 token-by-token 串行解码。基础模型是 DiffusionGemma（26B MoE，主干冻结）。
- 关键技术点：
- 三重最小化结构：
frozen Whisper encoder（声学特征） → lightweight projector（空间映射） → LoRA adapters（让冻结主干学会看新模态）。可训练参数总计 42M，仅主干 0.16%。
- 梯度死锁问题与解法：常规 diffusion LM 的训练目标（uniform random-token 离散扩散 + absorbing-mask 派）的 loss 梯度流到 projector 时，已经被注意力"开除"了，导致音频 grounding 学不到。论文提出通过冻结的输出 head 加一个 CTC loss，绕过注意力瓶颈，让梯度能稳定回流到 projector。
- 解码特性：固定 ~8 步并行去噪完成转写，长短语句时间相当；一个 adapter 同时覆盖英 / 印地 / 中文三种语言。
- 关键数字：LibriSpeech test-clean 6.6% WER；adapter 跨三语言单一权重。
可借鉴的工程洞察：把 ASR 做成固定步数并行解码而不是变长串行解码，可以让延迟与 utterance 长度解耦——这是流式/实时交互场景的硬指标，也是端侧推理能否做的关键。
局限性：① 26B MoE 主干意味着即便 99.84% 冻结，推理时仍要加载 26B 权重的 frozen 部分（需要 ~52GB FP16 或 ~26GB INT8）——所谓"轻量"是训练侧而非部署侧，对真端侧设备并不友好；② 8 步并行的算力峰值反而可能高于 AR 模型的 peak compute，p50/p99 latency 分布需补；③ 仅三语验证且用 LibriSpeech（read speech）评估，对会议、噪声、电话场景的扩展性未知。
相关工作对比
| 维度 | PalmClaw | DiffusionGemma-ASR |
|---|
| 目标场景 | 移动 Agent（设备操作） | 语音转文本（流式 ASR） |
| 主干状态 | 未明说，但工具抽象层等价于冻结 LLM 接口 | 完全冻结 DiffusionGemma 26B |
| 可训练参数 | 未披露具体数字 | 42M（占主干 0.16%） |
| 新模态接入 | 设备硬件/应用 API（设备工具） | 音频经 Whisper → projector → LoRA |
| 推理特性 | 显式工具调用 + 执行边界 trace | 并行去噪 ~8 步，长度无关延迟 |
| 多任务扩展 | SKill 库 + 工具组合 | 单一 adapter 跨 3 语言 |
| 开源 | 是（含 GitHub 代码） | 未明示 |
两条论文背后是一个更大的趋势——"冻结巨型预训练 + 训练最小化适配器"的范式，已经从 NLP（LoRA, 2021）扩散到了：
- 多模态视觉：LLaVA、Frozen-Bakbone CV adapters
- 音频 / 语音：本文 DiffusionGemma-ASR
- Agent 系统：本文 PalmClaw 的工具抽象 + 执行边界
- 扩散模型本身：ControlNet / IP-Adapter / T2I-Adapter（2023-2024 已成熟）
我的判断
判断 1："冻结主干 + 极小适配器"会成为 2026 下半年的默认部署范式。它的经济学逻辑太硬：重新训练 26B 主干的算力成本数百万美元，而 42M 的 LoRA 训练在单卡 4090 上几个小时就能完成，对中小团队极其友好。PalmClaw 和 DiffusionGemma 的同步出现不是巧合，而是同一范式向两个新场景的同步渗透。
判断 2（反面）：不要被"只训练 0.16%"的标题党迷惑——推理时的内存 / 显存依然被冻结主干支配。DiffusionGemma-ASR 在工程上仍然需要 26B 权重的承载能力。如果 JC 想真在本地 Mac mini / iPhone / Raspberry Pi 上跑这种 ASR，需要走完整量化（INT4/INT8）+ 蒸馏路线，而不是停留在 adapter 训练。PalmClaw 反而更接近真"on-device"，因为它没有冻结一个 26B 的语言模型，工具抽象层本身是轻量的。
判断 3（被忽视的风险）：adapter 训练可能继承主干的全部偏置和幻觉。PalmClaw 没披露底层 LLM，DiffusionGemma-ASR 用 DiffusionGemma 而非 Gemma-Chat——它能转写但能否拒绝恶意输入（prompt injection via audio）？这是 2026 后续研究的关键缺口，audio-side prompt injection可能成为下一年 OWASP LLM Top 10 的新威胁类目。
对 JC 的可操作建议：
- 若做本地化 AI 项目，优先采用冻结 7B 以下开源模型 + LoRA/QLoRA，而非追求大模型全量微调；
- 若考虑端侧音频应用，先评估Whisper.cpp类小模型路线，再考虑 DiffusionGemma-ASR 这类把延迟与长度解耦的方案——后者更适合"实时字幕、实时同传"等延迟敏感场景；
- 关注 PCSC / typed-state gating（同批 arXiv:2607.12986）这类 Agent 评估层的研究——它解决的是"评估函数本身被 agent 钻空子"的元问题，对长期可靠性比单点能力更重要。
参考来源：arXiv:2607.13027（cs.CL）、arXiv:2607.13013（cs.AI）/ 搜索结果交叉验证 arXiv LoRA 相关综述。文中所有数字均直接引自论文摘要；解读为我个人分析。