Agent 安全与记忆注入、多模态推理及 LLM 决策分解

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖大模型安全对齐、不确定性量化、强化学习训练稳定性、视频智能体、RAG 分类应用、智能体记忆安全、具身智能以及 LLM 智能体任务分解等前沿方向。其中既有对 Reasoning-Induced Misalignment 这一新问题的深入分析与解决方案，也有 Credal LLM 这种全新的不确定性建模框架，还有关于机器人 VLA 模型训练的新颖思路，值得仔细研读。

1. 通过安全方向惩罚缓解推理引发的对齐失败

作者: Yipeng Zhao, Qishun Yang, Shenzhe Zhu, Shu Yang, Di Wang | 分类: cs.AI, cs.CL 链接: arxiv.org/abs/2608.23497v1

推理引发的对齐失败（Reasoning-Induced Misalignment, RIM）是指：在仅包含无害内容（如数学、代码、带思维链的问题求解）的推理数据上进行微调，也可能诱发 LLM 的有害行为，这对大模型推理的安全性构成了严峻挑战。跨架构、跨规模和跨数据集的检验表明，RIM 并非总是出现。以往研究将 RIM 归因于神经元层面的纠缠，但未能识别出这种纠缠背后的表示空间几何结构，也未提出训练期的修复方案。我们同时提供了二者：对 RIM 的表示空间分析，以及安全方向惩罚（Safety-Direction Penalty, SDP），后者在推理微调期间惩罚沿学习到的安全方向的移动。该分析提取了两个激活空间方向，一个编码推理能力，另一个编码安全行为。这两个方向是耦合的：提升推理能力的微调会改变安全相关的表示，且偏移越大的提示词，其安全性能下降越严重。CKA 距离比率和探针定位了这种偏移最相关的安全决策层。这些发现指导了 SDP 的设计：耦合性促使我们惩罚沿安全方向的位移，层定位则设定了初始范围。当初始范围留下超出惩罚层的补偿性偏移时，同样的诊断方法可指导迭代扩展。在 Qwen2.5-3B 和 7B 上，SDP 在保持基准推理性能的同时恢复了安全性。

点评: 首次从表示空间几何角度系统解释了 RIM 现象，并给出了可落地的训练期解决方案，对保障大模型推理安全性有重要价值。

2. 不确定性下的语义承诺：Credal 大语言模型

作者: Shireen Kudukkil Manchingal, Sofiia Nikolenko, Fabio Cuzzolin | 分类: cs.CL, cs.AI, cs.LG, stat.ML 链接: arxiv.org/abs/2608.23244v1

大语言模型（LLM）经常产生流畅但错误且自信过高的回答。一个核心局限是，标准 LLM 通过单一预测分布来表示不确定性，混淆了认知上的无知与真正的歧义。我们引入了 Credal 大语言模型（CLLMs）：通过 LoRA 适配器的集成诱导出一个 credal 集，其下概率和上概率能揭示合理预测分布的离散程度，而不是坍缩为单一的 softmax 输出。从该表示中，我们推导出两个互补的承诺分数。Credal Token Commitment (CTC) 是一个 token 空间的分数，结合了下界支持度、credal 宽度和交集熵，无需额外生成即可计算。语义承诺一致性 (SCC) 通过采样补全将承诺扩展到语义空间，其中 SCC-Gap 衡量 token 级与语义级支持度之间的不匹配。我们在 Gemma-2-9B、Llama-3.1-8B 和 Qwen2.5-7B 上，针对 OpenBookQA、CoQA、TriviaQA 和 ARC-Challenge 评估了幻觉检测、校准、选择性预测和推理能力。CLLM 在 QA 准确率上是最优方法，且具有竞争力的期望校准误差；在大多数设置下，CTC 在不额外生成的情况下，幻觉 AUROC 与最优方法的差距在 1.5 个百分点以内。在 80% 覆盖率的选择性预测中，使用 SCC 的 CLLM 在 OpenBookQA 上达到 99.0% 的准确率；在 ARC-Challenge 上，使用 Csem 置信度的 CLLM 在三个骨干模型上实现了 ≤ 0.6% 的 ECE。

点评: 将统计学中的 credal 集理论引入 LLM 不确定性估计，为区分“模型不知道”和“任务有歧义”提供了更严谨的数学框架。

3. 如何稳定且高效地训练评论家模型

作者: Penghui Qi, Xiangxin Zhou, Wee Sun Lee | 分类: cs.LG, cs.AI, cs.CL 链接: arxiv.org/abs/2608.23566v1

基于组的强化学习方法（如用于大语言模型的 GRPO）通过为每个提示采样多个响应来避免训练评论家（critic）。一个可靠的评论家本可以仅从一个响应中估计 token 级优势，但标准的基于评论家的训练方法往往不稳定。我们研究了这种不稳定性，并开发了 最佳实践评论家优化（BPCO），该方法结合了 DPPO、限定在奖励范围内的价值预测、蒙特卡洛价值目标、未归一化的策略优势以及长度自适应的广义优势估计。由于评论家仅在训练期间使用，BPCO 还可以根据奖励定义信息（如参考答案或评分标准）来调节它，这些信息对策略是隐藏的。对照实验分离了每个设计选择的影响。在从 1.5B 参数到 30B-A3B 混合专家的数学推理任务中，BPCO 持续改进了强评论家基线，并且在每提示仅采样一个响应的情况下达到或超过了基于组的基线。相同的方案也改善了基于评分标准的奖励学习。这些结果表明，精心设计的评论家为组相对优势估计提供了一种可靠的替代方案。代码已开源。

点评: 这篇论文挑战了 GRPO 等组相对方法的主流地位，证明了“单样本 + 优质评论家”的路线在效率和稳定性上完全可行。

4. 超越视频思考：统一视频推理与深度研究，构建开放世界视频智能体

作者: Wenqi Liu, Shijie Ma, Yunxiao Wang, Meng Liu, Qile Su et al. | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2608.23329v1

开放世界视频理解通常要求模型定位稀疏的视觉证据，并获取视频及其参数记忆中缺失的外部知识。虽然“边看边思”（Thinking-with-Videos）实现了主动的时间感知，而“深度研究”（Deep Research）支持多步信息搜索，但两者通常是独立发展的。我们引入了 VideoRover，一个统一的视频深度研究框架，它迭代地协调视频裁剪、多模态搜索和网页浏览。给定一个视频-问题对，VideoRover 使用每个工具的结果来选择下一个动作，因此局部视频片段指导外部检索，而检索到的证据又触发进一步的视频检查和验证。为了发展这种能力，我们构建了一个自动化的数据整理流程，生成了 26K 条经过验证的 SFT 轨迹和 3K 个具有挑战性的 RL 实例。我们还引入了 VideoRover-Bench，一个按视频时长和研究难度分层的基准。在 VideoDR 和 VideoRover-Bench 上的实验表明，我们的 VideoRover-8B-RL 在无需工具的直接回答场景下，性能可与专有模型媲美，同时优于使用相同工具套件的更大的开源模型。消融研究和训练动态进一步验证了主动视频定位、外部检索和长程强化学习的互补作用。

点评: 针对开放世界视频问答，创造性地融合了主动视频感知和深度研究能力，填补了该领域框架和基准的空白。

5. 水电许可文档中环境缓解措施的检索增强分类

作者: Hong-Jun Yoon, Tom Ruggles, Joanna Lee, Debjani Singh | 分类: cs.IR, cs.AI 链接: arxiv.org/abs/2608.23241v1

识别和分类美国联邦能源监管委员会（FERC）水电许可文件中的环境缓解义务是一项劳动密集型任务，需要深厚的领域专业知识。我们将其构建为一个在结构化的 135 类分类体系上的多标签分类问题，并解决了标签严重稀缺这一核心挑战：135 个类别中有 40 个没有训练示例，26 个类别少于 5 个。一个基于监督 BERT 的流程虽然在代表性良好的类别上有效，但无论采用何种增强策略，在未见过的类别上 F1 分数均为零。我们引入了一种检索增强生成（RAG）流程，通过检索到的类别定义来调节分类，从而在整个标签空间中实现零样本泛化。我们进一步提出了一种混合系统，结合了 BERT 检测的高召回率与 RAG 分类的零样本覆盖能力。在 2017 年全部许可证文件（5,860 个段落，135 个类别）上进行的评估中，混合系统实现了 0.524 的 Micro F1，优于纯 BERT 流程（0.477）和纯 RAG 流程（0.416），在所有训练支持度区间均表现出色。

点评: 展示了 RAG 在处理极端标签稀缺的实际业务问题中的强大泛化能力，混合架构设计具备很强的工程参考价值。

6. InjecMEM：针对 LLM 智能体记忆系统的记忆注入攻击

作者: Hanling Tian, Gengyu Zhang, Zeyang Sha, Jingying Wang, Yuhang Liu et al. | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2608.23471v1

记忆系统正逐渐成为已部署 LLM 智能体的默认子系统，用以提供持续的个性化和连贯性。这自然引出一个问题：记忆系统是否会给智能体引入新的漏洞？为此，我们提出了 InjecMEM，一种新颖的记忆注入攻击范式，它仅需一次交互（无需对记忆存储的读/写权限）就能将后续相关查询的响应引导至预先指定的输出。在记忆系统“先检索后生成”机制的指导下，我们使用检索器无关的锚点和对抗性命令来构造注入。锚点包含高召回率的主题线索，使得下游检索能持续将该记录与目标主题关联。命令是一段短序列，经过优化以在不确定的融合上下文、可变位置和长提示下保持有效，从而在检索到后可靠地引导输出。我们通过基于梯度的坐标搜索学习命令，并对合成提示模板和插入位置进行平均，同时扩展到跨骨干网络的联合优化以研究迁移性。在多个记忆系统和骨干模型上的评估表明，InjecMEM 能实现可靠的主题条件检索和定向生成，在记忆漂移下依然有效，且不影响非目标查询。我们的研究结果强调了加固记忆系统的必要性，并为研究智能体记忆提供了一个可复现的框架。

点评: 首个系统性地揭示并验证了记忆系统作为智能体新攻击面的安全风险，对构建安全的 Agent 生态具有预警意义。

7. 意图驱动：为视觉-语言-动作模型提炼行为意图

作者: Sangoh Lee, Sangwoo Mo, Wook-Shin Han | 分类: cs.RO, cs.AI, cs.CV 链接: arxiv.org/abs/2608.23478v1

视觉-语言-动作（VLA）模型能将多模态上下文转化为机器人动作，但其动作解码器仍主要通过行为克隆来训练。这种方式监督了演示的电机指令，却隐含了行为在指令下所服务的局部目标。基于未来的监督通过帧、潜在观测、轨迹或运动表示来丰富动作学习，但这些信号捕获的是未来可能发生的特定实现，而非未来行为的共享语义目标。我们提出了意图蒸馏（Intention Distillation, INDI），将行为级别的意图蒸馏到动作解码器中。在训练期间，冻结的教师 VLM 会从当前观测、指令、粗略动作摘要和相应的执行视频中解释一个演示片段。在部署时，VLA 从其标准输入中，在中间解码器层恢复出得到的多模态意图表示，并利用它来组织动作预测，以及行为如何展开和实现什么目标的表示。在 SimplerEnv-Bridge 上，INDI 将 GR00T-N1.7 从 64.3% 提升至 84.7%；在 RoboCasa Kitchen 上，将受控的 GR00T-N1.7 基线从 64.1% 提升至 70.3%，并在两个基准上对 π0.5 都有一致的提升。在真实世界任务中，INDI 将平均成功率从 62.0% 提升至 68.7%，在更长视野的任务上提升高达 12.0 个百分点。进一步分析表明，恢复的潜在表示被解码器使用，捕获了行为目标和执行进度，并以目标依赖的方式组织下游预测。

点评: 另辟蹊径地利用 VLM 蒸馏行为意图来增强动作解码器，显著优于纯粹的行为克隆，为 VLA 模型训练提供了新范式。

8. LLM 智能体在增值税判定中的分解规模优化：一项受控试点扫描

作者: Pedro Santos | 分类: cs.MA, cs.AI, cs.SE 链接: arxiv.org/abs/2608.23395v1

最近的 LLM 智能体系统在设计中存在相互矛盾的决策：是将工作分解给许多狭窄的智能体，还是使用一个强大的、会使用工具的智能体。本试点研究在受限的跨境增值税判定（含反向征收机制）场景下探讨了这一选择。该场景中，每个案例都有标准答案标签，每个中间决策都可独立评分。我们保持活动表面固定（子任务、工具、输入输出模式、校验检查、编排器、基础模型和合并策略），仅改变子任务在不同工人间的分配，跨越四种编排配置，从 1 个宽泛工人到 5 个狭窄工人，并与 S0（一个调优过的、无编排器的单智能体）对比，以确定性规则引擎作为标准答案。该计划包含 4,400 次运行：一个 40 案例、5 次重复的主扫描；匹配 token 的对照组以区分提示词预算与智能体数量效应；以及三个故障注入组，全部依据预注册的证伪标准进行评判。两个中间配置在准确率上领先（0.830，而两端点分别为 0.720 和 0.770），但未达到针对细粒度端点的预设标准，因此“中间最优”假设在试点规模下仍未得到支持。单智能体并未在帕累托意义上支配编排集。匹配 token 标准已触发：预算匹配的单智能体比领先者低 6.5 个百分点，但置信区间包含零，因此任何优势都可能由提示词预算解释。在注入下，所有粒度的配置都能吸收可用性故障，其中宽范围重启比基线过度恢复 +0.160，而一条符合模式但幻觉的记录则会使所有配置性能下降并反转排序，对碎片化配置打击最大。本研究的贡献在于一个受限的、预注册的试点启发式方法，用于优化分解规模（将分区边界放置在依赖层中点），并与标准答案、数据集、测试框架、原始轨迹和分析流程一同发布。

点评: 以严谨的实验设计探讨了 LLM Agent 系统中“单智能体 vs 多智能体”这一核心工程问题，虽然结论尚不明确，但其方法论极具参考价值。

本内容由 AI 辅助生成，论文信息来源于 arXiv。