多教师知识蒸馏、智能体安全对齐与端侧视频理解新进展

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖大模型多域蒸馏、命名实体识别、智能体安全对齐、流式视频理解、代码生成安全、检索模型评估、压缩感知理论以及可信自主机器人等方向。其中既有提升模型能力与效率的新方法，也有针对隐私攻击与安全风险的攻防研究，反映了当前 AI 社区对性能与可信度的双重追求。

1. 向对的人学习：面向多域 LLM 的答案验证多教师蒸馏方法

作者: Xixiang He, Xingming Li, Baiqi Wu, et al. | 分类: cs.LG, cs.AI 链接: arxiv.org/abs/2609.02548v1

现代大语言模型（LLM）依赖强化学习在单个领域内建立强大能力，但将这些能力整合进一个可部署的模型仍然具有挑战性。现有方法通过将每个样本路由到领域匹配的教师模型，让领域标签决定由谁提供监督。然而，领域专长只是平均意义上的：匹配的教师并不总是在特定样本上正确，而其他领域的教师有时反而是正确的。因此，可靠的教师必须逐样本而非逐领域地识别。本文提出了多教师自蒸馏策略优化（MT-SDPO），一种在策略蒸馏方法，将多个冻结的教师统一到一个学生模型中。MT-SDPO 由三个组件构成：(1) 自锚点，即 rollout 由来自自身组别的正确 rollout 监督；(2) 答案验证资格，即教师只有在其答案通过验证器时才能监督样本；(3) 特权蒸馏，将锚点与所有验证过的反馈合并到一个上下文中，由指数移动平均的自教师读取而学生不读取，从而在部署时保持单一策略。在来自三个模型家族的五个学生模型上，MT-SDPO 将 Qwen3-8B 的最弱领域提升了 14.79 分，并将领域差距缩小了 74.7%，平衡性优于每个领域部署一个匹配教师。验证过的可靠性，而非领域归属，才应决定谁来进行教学。

点评: 打破了“按领域分配教师”的定式思维，提出按样本验证结果动态选择教师，思路新颖且效果显著，为多域模型融合提供了更精细化的解决方案。

2. NE-R1：通过强化学习增强命名实体识别模型

作者: Meixuan Chen, Hehan Li, Ruizhi Zhao, et al. | 分类: cs.CL, cs.AI 链接: arxiv.org/abs/2609.02366v1

自大语言模型（LLM）出现以来，命名实体识别（NER）取得了长足的进步。然而，由于参数化知识的不足，长尾和特定领域实体的识别仍然具有挑战性。检索增强生成（RAG）通过注入外部知识提供了一种有前景的解决方案，但在处理熟悉案例时会引入噪声和不必要的成本。本文提出了 NE-R1，一种用于自适应检索增强 NER 的新框架。作者设计了一种针对 NER 的“按需检索”机制，并采用两阶段训练方法将其整合到模型中：(1) 多任务指令微调初始化；(2) 结合思维链的端到端 RL 优化。为了在参数化知识和外部知识之间做出合理选择，作者设计了一个综合考虑准确性和检索收益的多维奖励。NE-R1 在多个基准上取得了最先进的性能，在域内评估中平均 F1 分数提升了 2.52%，在零样本跨域评估中提升了 1.18%。

点评: 针对 NER 任务中 RAG 的“一刀切”问题，引入“按需检索”与强化学习优化，有效平衡了外部知识的收益与噪声，对长尾实体识别尤其有意义。

3. SafeEvolve：智能体经验驱动的 Harness-策略协同进化安全对齐

作者: Qinghua Mao, Wanying Qu, Dadi Guo, et al. | 分类: cs.AI, cs.CR 链接: arxiv.org/abs/2609.02786v1

基于 LLM 的智能体的性能由基础模型和与环境交互时使用的 harness 共同决定。这使得它们在有害的最终响应和多步执行轨迹中都面临安全风险。现有的安全对齐机制通常依赖于外部 harness 更新或策略优化，但孤立地应用任何一种范式都无法将运行时控制与内在安全性结合起来。作者提出了 SafeEvolve，一种基于经验的智能体安全对齐自进化框架。SafeEvolve 利用完成的在策略轨迹中的安全经验，驱动 harness 与策略协同进化的持续循环。在 harness 侧，它将轨迹级安全证据转化为有界的、组件级的更新，产生可审计和可逆的 harness 产物。在策略侧，遵循两阶段 SFT-RL 范式。实验表明，与现有基线相比，SafeEvolve 实现了更强的安全性-实用性权衡。对于 Qwen3.5-4B，SafeEvolve 在 AgentDojo 上将 ASR 降低了 3 倍，同时将良性效用从 59.79% 提升到 61.86%。

点评: 提出 “harness-策略” 协同进化的新颖视角，将环境交互的运行时控制与模型内在安全对齐统一起来，为提升 LLM 智能体的整体安全性提供了系统级的解决方案。

4. ShallowStream：为流式视频理解先建浅层索引再做深度解答

作者: Jitai Hao, Ke Yang, Qiang Huang, et al. | 分类: cs.CV, cs.CL 链接: arxiv.org/abs/2609.02780v1

流式视频理解对于具身智能、自动驾驶、工业监控和可穿戴助手等现实应用至关重要。然而，用多模态大模型（MLLM）处理连续视频流的计算成本高昂。现有工作大多忽略了模型深度这一维度。对传入帧重复执行全深度 MLLM 预填充代价高昂，且导致 KV 缓存以与预填充深度成正比的速度增长。作者提出 ShallowStream，利用 MLLM 的浅层同时进行帧编码和检索索引构建。在流处理期间，使用浅层 KV 缓存维护一个始终在线的轻量级索引。在查询时，利用浅层产生的注意力分数对上下文帧进行评分，并采用多样性感知的选择策略来检索精确且全面的证据。ShallowStream 实现了与现有最强流式方法相当的性能，同时将每帧预填充延迟和 10 秒端到端延迟分别降低了 52.1 倍和 11.9 倍。

点评: 巧妙地利用 MLLM 内部浅层作为高效编码器和索引器，显著降低了流式处理的巨大计算开销，为视频理解在实时场景中的落地扫除了一大障碍。

5. CodePoisonRAG：针对检索增强代码生成的知识投毒攻击

作者: Varun Gadey, Ziad Marey, Alexandra Dmitrienko | 分类: cs.CR, cs.LG 链接: arxiv.org/abs/2609.02774v1

检索增强代码生成（RACG）通过检索外部代码工件、文档和补丁并将其纳入生成上下文来改进基于 LLM 的软件开发。对外部知识的依赖引入了关键的信任边界：被投毒的工件可以在不修改底层 LLM 的情况下影响生成的代码。作者提出了 CodePoisonRAG，一种目标明确的上游知识投毒框架。其攻击链结合了特定 CWE 的漏洞注入（嵌入选定的 source-to-sink 流程同时保持任务对齐）与语义错误标记（在不修复易受攻击行为的情况下添加虚假的安全声明）。攻击者对受害者的已部署知识库、检索器、重排序器、生成器、提示或防御机制一无所知，且每个预期任务最多注入一个工件。实验结果表明，这种攻击可以被有效传播，攻击成功率高达 0.80 至 0.93，且能部分规避现有防御。

点评: 系统性地揭示了一种针对代码生成 RAG 管线的“投毒即服务”式攻击，无需访问受害者系统即可定向植入弱点，为代码安全生态敲响了警钟。

6. 增量式池化 LLM 评估：用于经济高效的检索模型选择

作者: Max Nelson, Hanoz Bhathena, Aviral Joshi, et al. | 分类: cs.IR, cs.CL 链接: arxiv.org/abs/2609.02745v1

为生产级 RAG 系统选择检索模型需要进行可靠的比较评估，但大规模获取相关性判断成本高昂，并且随着新的候选系统出现而难以重复。作者研究池化 LLM 评估方法，即让一个 LLM 对当前候选系统检索到的文档并集进行判断，当引入新系统时，仅通过判断其新增的文档来增量扩展池。这些判断被复用以在共同的基础上评估所有系统。他们在四个检索基准上验证了该方法，并在一个金融新闻 QA 系统中部署，比较了 62 种检索配置。实验表明，池化 LLM 排名与数据集上的黄金标准评估高度相关，且 97% 的成对系统排序在考虑 qrels 的 bootstrap 不确定性后得以保留。在生产环境中，文档重叠实现了 65-80% 的判断复用和高达 4.9 倍的成本降低。

点评: 将 LLM 评估和增量池化技术结合，有效解决了 RAG 系统中模型选型的性价比痛点，提供了一套可重复、低成本且高置信度的评估工作流。

7. 压缩感知中可调线性生成先验的全模型最优性

作者: Zhaoming Li, Paul Hand | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2609.02790v1

生成模型已被实验和理论证明可作为压缩感知等逆问题的先验。最近的工作研究了使用具有可调复杂度的生成先验，在反演时可以选择特定的复杂度，并实验证明较低的重构误差可以通过适当调整生成先验的复杂度来实现。本文为压缩感知建立了一个理论，场景是自然与奇异值分解相关的可调线性生成先验族。作者证明，在无噪声的高斯压缩感知中，全维线性先验在整个线性先验族中实现了最小的期望重构误差。因此，在这种理想化的线性无噪声环境中，调整到较低复杂度的先验并不会提高期望重构误差。这一结果与去噪行为形成对比，表明基于神经网络先验的压缩感知中的可调性带来的实验益处源于生成模型的非线性。

点评: 从理论上严格证明了在无噪声线性模型下“调参”无用，明确了压缩感知中可调先验优势的真正来源是非线性，对理解深度生成先验的本质具有重要理论指导意义。

8. 迈向可信自主机器人：基于可解释 AI 的决策框架

作者: Cagri Temel | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2609.02861v1

由深度学习驱动的自主机器人面临着根本性的可审计性挑战：当事故发生时，调查人员无法重建系统做出特定决策的原因。本文提出了 TRACE（透明推理架构），一种确保每个自主行为都可以通过记录在案的因果链追溯到传感器证据的决策框架。该框架将决策过程组织为四个可审计层：用于证据接地实体识别的语义感知、使用因果图进行概率状态估计的信念推理、带有反事实文档的约束感知规划动作综合，以及用于合规性监控的执行验证。TRACE 与模型无关，但旨在集成基于学习的感知模块（如 CNN、Transformer），同时保持决策级的可审计性。在仓库机器人导航上的实验表明，TRACE 在 500 个模拟决策周期中实现了 98.6% 的证据可追溯性、99.0% 的时间连续性和 98.1% 的决策可重构性。该框架旨在满足欧盟 AI 法案对高风险系统的透明度要求。

点评: 提供了一种面向 “AI 问责制” 的工程化解决方案，通过分层架构确保从传感器到决策再到执行的全链条可追溯，为符合欧盟 AI 法案等监管要求奠定了基础。

本内容由 AI 辅助生成，论文信息来源于 arXiv。