多模态安全对齐、RAG可信评估与自进化机器人策略

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖多模态大模型的安全对齐、智能体系统评估与安全监控、专利生成基准、视频时序推理增强、RAG 可信度检测、以及机器人策略自改进等前沿方向。

1. ReFrame：多模态大语言模型中基于证据引导的测试时安全对齐

作者: Wenzheng Jiang, Xuankun Rong, Yuanzhao Zhai, Dawei Feng, Huaimin Wang | 分类: cs.AI 链接: arxiv.org/abs/2608.21100v1

多模态大语言模型（MLLMs）在扩展模型能力的同时，也使得安全对齐变得更加困难。多模态安全对齐方法必须应对跨模态越狱、安全感知失败和过度敏感拒绝等问题。然而，现有方法往往依赖重训练或内部状态检查，限制了其在已部署的闭源 MLLM 上的适用性，因此需要测试时的安全对齐。作者分析了这一场景，识别出两个关键障碍——效用主导（utility dominance）和推理惯性（reasoning inertia），它们会导致模型忽略潜在风险或遵循恶意推理轨迹。基于这些洞察，作者提出 ReFrame，一个无需训练的、多模态输入重构框架。两个智能体共享一个轻量级本地部署 MLLM：证据生成智能体构建互补的风险与效用证据，重写与路由智能体在调用下游 MLLM 之前将其转化为安全的代理提示和图像路由决策，无需修改下游模型或访问其内部信息。在多种 MLLM 和基准上的实验表明，ReFrame 在保持多模态效用的同时，提升了越狱防御、安全感知并降低了过度敏感拒绝。

点评: 针对闭源 MLLM 的安全对齐痛点，提出完全无需训练和内部信息的测试时重写方案，实用性强，对多模态安全治理有直接参考价值。

2. 通过人类对齐设计用于药物发现中智能体 AI 的鲁棒 LLM 评估系统

作者: Emma Granqvist, Rocío Mercado, Samuel Genheden | 分类: cs.LG 链接: arxiv.org/abs/2608.21057v1

智能体大语言模型（LLM）系统正在重塑化学和药物发现领域的科学工作流，但评估其开放式、工具增强的输出仍是一个基本瓶颈。基于参考的指标（如 BLEU 和 ROUGE）无法捕捉语义正确性，而专家人工评估无法扩展到这些系统所需的迭代速度。LLM-as-a-Judge 范式已成为一种可扩展的替代方案，但现有的药物发现基准在未验证其与人类专家对齐的情况下就部署了 LLM 评审。本文为 AstraZeneca 部署的智能体药物发现助手 ChatInvent 提出了一个 LLM-as-a-Judge 评估框架，包含四个贡献：定义了四个输出质量评估维度——完整性、相关性、结构清晰度和范围遵从性，以及确定性的工具调用正确性检查；通过五位专家标注者的人类对齐研究验证评审模型，比较了 Gemini 3.1 Pro、Claude Opus 4.7、GPT-5 和 Llama 3.1 70B 作为候选评审；使用人工标注示例的 few-shot 演示优化了表现最佳的评审模型，将与人类多数投票的对齐从 0.80 提高到 0.86；将优化后的评审应用于 70 个保留问题，揭示了具体局限性，并发现非正式措辞并不会系统性地降低输出质量；相反，在查询智能体之前让 LLM 重写原始问题是有帮助的。该框架为科学领域中智能体系统的人类对齐评估提供了可复用的模板。

点评: 工业界（阿斯利康）落地的真实案例，验证了 LLM-as-a-Judge 在药物发现中的可行性与边界，为科学智能体评估提供了成熟的方法论模板。

3. 从发明人式披露进行专利撰写基准测试

作者: Lekang Jiang, Wenjun Sun, Stephan Goetz | 分类: cs.CL 链接: arxiv.org/abs/2608.21249v1

尽管最近的大语言模型（LLM）在单个专利撰写任务上取得了可喜成果，但它们从根本上未能解决真实世界专利撰写的核心挑战：直接根据早期发明材料生成完整且法律连贯的专利申请。先前的工作主要假设输入处于后期、高度结构化或已法律化的阶段。然而，真实的专利工作流始于发明人撰写的非正式、去法律化的披露材料。为了弥合这一差距，作者引入了 Dis2Pat，一个披露到专利的数据集，通过要求直接从发明人风格、去法律化的披露材料生成完整的专利申请，反映了真实的专利工作流。鉴于长格式、法律受限的专利撰写的固有难度以及强烈的隐私要求，作者进一步提出了一个强基线 Patent-MAF，一个用于本地可部署专利撰写的多智能体框架。基准结果显示，当前的 LLM 在专利撰写方面表现出局限性，而 Patent-MAF 提供了一个强基线，持续优于评估的开源模型，并与大型闭源模型保持竞争力。

点评: 直面“从非结构化发明披露直接生成完整专利”这一真实行业痛点，填补了现有基准脱离实际流程的空白，且兼顾了企业级隐私部署需求。

4. COMET：用于视频多模态大语言模型的对比运动增强时序推理

作者: Chenghua Zhu, Zhaolu Kang, Qifan Shi, Siyan Wu, Kehan Jiang et al. | 分类: cs.CV, cs.CL, cs.LG 链接: arxiv.org/abs/2608.21030v1

视频多模态大语言模型已取得显著进展，但细粒度的运动时序理解仍然脆弱。核心瓶颈不仅在于稀疏的帧采样，还在于缺乏一个完整的时序建模流程，以显式表示帧间变化、实现外观-运动交互、并优化时序方向敏感性。作者提出 COMET，一个基于时序的框架，通过显式时序表示、外观-运动融合和方向感知优化来系统性地增强视频 MLLM。在架构上，COMET 引入了一个基于泰勒帧差分的时序运动分支，并通过时序注意力偏置增强的交叉注意力将运动证据注入外观流。在优化方面，COMET 将时序先验蒸馏与一个前向-反向 TC-GRPO 阶段相结合，将时序顺序转化为直接的学习信号，并强化模型对时序运动分支编码的方向运动模式的使用。该方法在整体上取得了一致的改进，并带有显著的运动-时序偏向：在 Qwen3-VL-8B 上，动作中心任务（STAR, SSv2）平均提升 4.9%，时序推理任务（NExT-QA, CLEVRER, LLaVA-178K）较 BL-GRPO 提升 2.1%，而静态感知任务（PerceptionTest）保持持平。相同的提升模式也迁移到了 InternVL2.5-8B，表明 COMET 可跨模型系列泛化。

点评: 系统性地解决了视频模型中运动时序建模的管线缺失问题，而非仅靠采样策略修补，在多个模型上的稳定增益证明了其通用性。

5. ClawSentry：保护自主 LLM 智能体的渐进式多层级安全监控器

作者: Kai Wang, Zeming Wei, BiaoJie Zeng, Chang Jin, An Wang et al. | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2608.21101v1

随着大语言模型（LLM）智能体从对话转向执行代码、读取本地文件和编排外部工具，一个被恶意第三方技能劫持的智能体可能导致数据泄露、权限提升或级联破坏。作者认为智能体风险是渐进式的：它可以在智能体控制循环的四个环节出现——技能准入、调用时意图、执行时效果、行动后后果——而一个被拒绝的危险目标可以以不同的表面形式、工具或轮次重新出现；现有的安全措施通常局限于单个生命周期边界或单次调用。基于这一威胁模型，作者提出了 ClawSentry，一个开源的、框架无关的智能体运行时安全监督网关。在技能包执行前，首次使用技能包审查（FSPR）在确定性证据底线（locus A）下对其进行审计，将未解决的案例升级为有界的只读智能体审查。在运行时，一个三层渐进式决策引擎——确定性 L1 层、规则锚定的 L2 语义审查器和只读的 L3 证据寻求智能体——仅在残余歧义上投入上下文审查，同时会话级反绕过机制识别工具切换和改述重试（loci B–C）；行动后路径将高严重性证据非追溯性地反馈到后续审查中（locus D）。智能体 Harness 协议（AHP）抽象使得一个策略可统一应用于 Codex、Claude Code、Kimi CLI 和 Gemini CLI 而无需修改智能体内部结构。在 SkillInject 上使用 Codex/GPT-5.4，上下文 ASR 从 39.55% 降至 2.61%，而上下文 TSR 仅从 83.78% 变为 83.05%。在完整 SkillsSafety 基准的五个 Work Agents 上，ClawSentry 将 ASR 从未受保护时的 33.5–49.7% 限制在 9.09–15.03%，且干净技能上的总体 TSR 保持在 98.7%。

点评: 通过“渐进式审查”思想精准控制开销，实现了框架无关的统一安全策略，实测攻击成功率大幅下降，是智能体安全基础设施方向的重要开源贡献。

6. 可信 RAG：用于检测生成式 AI 系统中错误信息和知识投毒的评估智能体

作者: Balkrishna Giri, Md Toufique Hasan, Jussi Rasku, Muhammad Waseem, Pekka Abrahamsson | 分类: cs.SE, cs.AI, cs.CL, cs.CR, cs.IR 链接: arxiv.org/abs/2608.21095v1

检索增强生成（RAG）将大语言模型（LLM）的输出锚定在外部知识上，但 RAG 系统通常信任它们检索到的任何内容，从而产生了“安全-可靠性差距”：高语义相关性并不能保证事实真实性。攻击者通过知识投毒利用这一点，插入恶意文档以引起有针对性的错误信息。作者提出一个评估智能体，作为中间件，结合了基于自然语言推理（NLI）的事实验证、具有相关性加权聚合的五信号投毒检测器，以及一个信任指数 T = 0.4 F + 0.35 C + 0.25 (1 - P)，并在高污染情境下加入非线性阻尼器。在使用 Llama 3.3 70B 的 TruthfulQA 上，该智能体达到了 91% 的准确率和 100% 的精确率，在指令注入上实现了 100% 的召回率，而就地编辑（如实体交换）仍然难以检测。在三个 LLM 上，信任指数保持判别力，ROC-AUC 为 0.73 至 0.81；生成风格比模型大小更重要，并且每 LLM 的阈值校准恢复了基线的竞争性准确率，而较弱的 FEVER 结果表明跨数据集泛化需要特定领域的校准。在一个软件工程用例中，一个基于 OWASP Top 10 和 CWE 指南的安全编码助手，该智能体可靠地阻止了不安全建议的指令注入（F1 为 92%），而矛盾和微妙的语义弱化仍然难以处理。在整个过程中，智能体测量的是生成前中毒上下文的检测，而非 LLM 是否采纳了注入的错误信息。

点评: 直击 RAG 系统“检索到即信任”的安全命门，将可信度量化为可计算的指标，并附带完整攻击生成器与实验工件，对构建可审计的 RAG 应用极具价值。

7. LLM 智能体时代的图工程：从个体智能到系统智能

作者: Yuyuan Feng, Zhishang Xiang, Chaobin Yang, Qichao Ma, Zerui Chen et al. | 分类: cs.IR, cs.AI, cs.ET 链接: arxiv.org/abs/2608.21156v1

LLM 已从语言生成器进化为能够处理复杂、长周期任务的自主智能体。这种进化产生了包括提示工程、上下文工程、工具编排工程和循环工程在内的多种范式。然而，随着任务变得越来越复杂，个体智能面临一个根本限制：许多任务需要异构专业知识、相互依赖的子任务、并行执行、独立验证和持久状态，这超出了任何单个智能体的组织能力。仅增强单个智能体的能力或上下文无法解决这种架构上的不匹配；智能必须分布在专门的智能体上，并在系统层面进行组织。作者将此称为“系统智能”：智能体系统将多个智能组件组织并协调成一个连贯、自适应、追求共同目标的整体的能力。实现它需要的不仅仅是添加智能体；它需要显式结构来组织工作、协调异构智能体并维护演化的执行状态。作者引入“图工程”，一种用于下一代智能体系统的新兴范式。与主要优化单个交互或智能体级行为的先前范式不同，图工程构建显式的、动态的、演化的图结构，表示任务、智能体和系统状态。这些抽象为组织复杂目标、编排异构智能体、建模系统动态以及实现可扩展的智能体演化提供了统一基础。作者系统地回顾了图工程在 LLM 智能体中的原理、方法和应用。

点评: 这是一篇具有“范式宣言”性质的综述，将系统智能的诉求抽象为显式图结构，为下一代复杂智能体系统的工程设计提供了统一的理论视角。

8. 超越模仿：通过离策略 Q-规划实现机器人策略的自我改进

作者: Varun Giridhar, Anant Khandelwal, Jeremy A. Collins, Ignat Georgiev, Animesh Garg | 分类: cs.RO, cs.LG 链接: arxiv.org/abs/2608.21204v1

行为克隆（BC）推动了机器人操作领域的显著进步，但它从根本上受限于无法自我改进：一个失败的策略无法从该失败中学习，除非有额外的人类演示。强化学习微调提供了一条自我改进的路径，但已被证明难以扩展到支撑现代机器人策略的数十亿参数模型。作者提出 Q-Planning，它为一个大型视觉运动 BC 策略配备了一个小的离策略 Q 函数。由于 Q 函数估计价值而非模仿动作，它可以在与 BC 策略相同的成功演示上训练，之后吸收成功和失败的部署轨迹，这是 BC 不具备的非对称性。作者利用这种不对称性来实现推理时的价值引导动作选择（单步 Q 加权平均 BC 采样）和在线自我改进（仅微调 Q 函数，保持 BC 权重不变）。在 LIBERO 和双臂 RoboTwin 上，十轮自我改进提升了所有测试基准分数（LIBERO-10 从 93% 到 99%，RoboTwin 从 83.8% 到 91.4%），并缩短了近天花板套件（LIBERO-Object, LIBERO-Goal）的成功剧集时长。在两个接触丰富的双臂真实机器人任务中，相同的循环（BC 冻结，无人工干预）仅从自身的部署轨迹中改进：堆杯子在五轮迭代中从 40% 提升到 90%，插入钱包从 25% 提升到 80%，而在成功轨迹上进行 SFT 则分别停滞在 55% 和 30%。在相同的在线预算下，Q-Planning 是唯一一种能稳定从失败中改进且无需训练辅助 actor 的方法（对比 Best-of-N、过滤 SFT、IBRL、DSRL 和 DAWR）。

点评: 巧妙利用 Q 函数“估值优于模仿”的非对称性，在不触碰大模型权重的前提下实现了机器人策略的稳定自改进，在真实机器人任务上效果显著，为摆脱对人工演示的依赖提供了新思路。

本内容由 AI 辅助生成，论文信息来源于 arXiv。