强化学习干预、多模态检索增强与移动操作智能体

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖真实世界机器人强化学习、LLM 驱动的网络安全建模、交互式长视频生成、多模态 RAG、长程移动操作、泛化验证理论、Agent Prompt 注入检测以及声乐多音高估计等方向。

1. UniIntervene++：面向高效真实世界强化学习的自适应干预智能体

作者: Yudong Lin, Haoyuan Deng, Zhuoxuan Yuan, Zaijia Yang, Yuanjiang Xue 等 | 分类: cs.LG, cs.RO 链接: arxiv.org/abs/2610.03620

在线强化学习（RL）能让机器人策略通过物理交互不断改进，但其所需的辅助程度会随能力演变而变化。基于离线估计或固定决策规则的现有干预策略，因此可能与当前策略不匹配。为此，我们提出 UniIntervene++，一种自适应干预智能体，可在在线 RL 过程中学习在自主执行与异构辅助行为之间分配控制权。具体而言，UniIntervene++ 首先将演化中的 RL 策略、轨迹修正以及任务结构化的 CodePolicy 建模为统一半马尔可夫决策过程中的 Options，并在线学习它们的相对价值。在此基础上，能力自适应干预通过无辅助执行定期探测 RL 策略，使控制权分配对其能力演变保持敏感。最后，耦合经验学习让辅助行为能够改进 RL 策略，而策略演变的结果又反过来重塑未来的干预决策。通过这种方式，UniIntervene++ 在 RL 策略改进过程中联合决定何时干预、如何干预以及何时归还控制权。在五项真实世界操作任务中，UniIntervene++ 平均成功率达 89.67%，优于所有基线至少 6 个百分点，同时将人工干预降至 0.77%，相比最好的基线相对减少至少 94.6%。代码已发布于我们的 GitHub 仓库。

点评: 该工作把”何时干预、如何干预、何时放手”统一进一个在线学习框架，在真实机器人任务中把人工干预降到不足 1%，对落地型 robot learning 很有参考价值。

2. CVE2AP：基于大语言模型自动生成 PDDL 编码的攻击路径

作者: Lin Cui, Vincenzo Scotti, Raffaela Mirandola | 分类: cs.AI 链接: arxiv.org/abs/2610.03383

攻击路径（AP）建模是网络安全分析的基础，其中规划领域定义语言（PDDL）已被广泛用于将 AP 编码为形式化、机器可验证的表示，以自动化推理漏洞利用、攻击推进及其潜在影响。然而，现有 AP 建模方法大多依赖专家手工构建，限制了其可扩展性以及跟上快速演变网络威胁的能力。大语言模型（LLM）是有希望的候选者，其广泛的预训练知识和推理能力使其能够将威胁情报解释并转化为形式化表示。本文提出 CVE2AP，一种基于 LLM 的方法，可从自然语言 CVE（通用漏洞披露）描述自动生成 PDDL 编码的攻击路径。CVE2AP 利用结构化提示，并引入错误反馈机制，通过规划器报告的语法与可解性错误迭代精化生成的路径。我们在多个 LLM 和生成配置上进行了系统性实证评估，从语法、可解性和语义维度评估生成质量，并统计 token 消耗与生成时间。结果表明，CVE2AP 能有效生成高质量的 PDDL 攻击路径，在 LLM-as-expert 评估下达到最高 86.9% 语法正确率、78.6% 可解性和 93.1% 语义正确率，其中 GPT-5.5 提供最佳的质量-成本权衡，错误反馈带来最一致的质量提升。

点评: 把 CVE 文本自动转成可规划验证的攻击路径，是 LLM 在安全形式化建模上的一次实用尝试，错误反馈闭环是性能提升的关键。

3. Weave Forcing：交互式长视频生成的组合式记忆路由

作者: Ziyi Wang, Junchi Yao, Heqian Qiu, Wenbo Shi, Chengjiu Wang 等 | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2610.03510

自回归视频生成的最新进展提升了长时程的时间一致性，但交互式叙事不止需要连续场景延展：新镜头可能组合来自不同历史镜头的角色与背景。整体提示检索会忽略各组成部分不同的参考需求，而直接组合所有历史记忆可能引入无关视觉内容。为解决这些问题，我们提出 Weave Forcing，一个免训练的组合式记忆复用框架，用于交互式长视频生成。首先，我们使用 LLM 进行语义槽路由，将用户提示分解为角色和背景描述，并为每个组成部分显式选择合适的歷史参考。为隔离所需内容，掩码记忆编织利用以语义槽为条件的对比注意力图构建精化语义掩码，选择性地将压缩历史 KV 记忆中的相关 token 暴露出来，以引导当前镜头的生成。我们进一步引入覆盖自适应 RoPE，根据无、部分或完整参考覆盖调整时间偏移与记忆保留，解决不完整历史参考被置于当前生成附近时出现的视觉伪影。大量实验表明，Weave Forcing 提升了跨镜头主体与背景一致性，同时保持有竞争力的视觉质量与文本对齐。

点评: 将角色、背景分开检索并按覆盖度调整位置编码，巧妙解决了长视频生成中”记忆混用”的痛点，且完全无需训练。

4. CLIMB：面向多模态检索增强生成的置信度引导互补证据

作者: Hang Gao, Wujiang Xu, Zhixing Zhang, Kai Mei, Jingyi Yang 等 | 分类: cs.CL 链接: arxiv.org/abs/2610.03421

多模态大语言模型（MLLM）已展现出强大的视觉推理能力，但知识密集型的视觉问答往往需要图像和模型参数知识之外的外部文本证据。现有多模态 RAG 系统通常依赖 Top- $K$ 检索或重排序，可能返回冗余段落，且对”答案更新是否有充分检索证据支持”缺乏控制。我们提出 CLIMB，一个免训练的多模态 RAG 推理时框架。CLIMB 首先使用类似 MMR 的目标构建紧凑的互补证据池，兼顾查询相关性与段落级冗余。然后在这个固定池内执行置信度控制的精化：R/E/C 评判器从相关性、证据特异性和跨模态对齐三方面对段落打分，而基于证据的置信度估计器仅在估计置信度提升时才接受更新后的答案。这一设计提供了简单的停止准则，在不修改底层检索器或 MLLM 的前提下减少不必要的精化。在 Encyclopedic-VQA 和 InfoSeek 上的实验表明，CLIMB 持续优于检索增强的多模态基线。消融研究进一步表明，互补池化、评判器打分和迭代置信度控制精化各自都对最终性能有贡献。

点评: 用”置信度是否上升”作为答案更新的停止条件，思路简洁且免训练，为多模态 RAG 提供了一个可控、可解释的精化范式。

5. MobiAgent：面向长程移动操作的双环递归策略自改进

作者: Chenzhi Liu, Yue Zhang, Jiehong Lin, Jianan Wang, Bo Wang 等 | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2610.03476

长程移动操作因误差累积以及移动与手臂控制之间的容量干扰而面临重大挑战。尽管近期 Vision-Language-Action 模型在短时程任务上表现出色，但它们缺乏多阶段目标所需的层次化推理能力。此外，现有层次化智能体存在子任务映射僵化、重规划不灵活以及缺乏持续学习的问题。为解决这些局限，我们提出 MobiAgent，一个双环智能体框架，衔接稳健的部署执行与递归的策略自改进。在部署阶段，内环通过高度可组合的原子技能将高层推理与底层控制解耦。它使用视觉语言模型进行滚动时程规划与视觉反思，动态组合技能以确保稳健的误差恢复。这些技能由共享统一 VLM 主干的专用 flow-matching 专家执行，在最大化复用性的同时缓解容量干扰。与此同时，外环通过自动分割与验证部署 rollout、聚类发现原子技能，并在无需人工标注的情况下持续微调技能库，推动自动化终身学习。在 RoboCasa、BEHAVIOR-1K 和真实世界任务上的评估证明了 MobiAgent 的有效性。它在 BEHAVIOR-1K 上比 $π_{0.5}$ -TA 高出 22.5 个百分点，并能从执行失败中稳健恢复。通过自主数据回收，RoboCasa 上成功率从 7.50% 提升到 27.50%，Astribot S1 上从 32.5% 提升到 57.5%。

点评: 内环负责稳健执行、外环负责自动挖掘新技能并终身学习，这种”部署即训练数据”的闭环设计对长程移动操作很有启发。

6. 准确率何时构成证据？泛化、验证与信息融合的统一理论

作者: JM Gorriz | 分类: stat.ML, cs.LG, physics.data-an 链接: arxiv.org/abs/2610.03465

K 折交叉验证（CV）被广泛用作样本外性能的证据，尽管各折既非独立实验，在异构数据下信息量也不相等。Cross Upper-Bound Validation（CUBV）用真实风险的保守上界替代逐点 CV 准确率。这里我们通过一个统一的指数框架推广 CUBV，其中泛化间隙的矩生成函数由累积量包络 gamma(lambda) 控制。这导出了一族风险界，覆盖 Hoeffding、Bernstein、依赖感知、PAC-Bayesian 以及异构来源融合等设定。对于 K 折 CV，折间间隙的依赖通过联合次高斯代理矩阵建模。在等相关假设下，这给出有效折数 Keff = K/[1+(K-1)rho]，表明当折间强相关时，增加 K 并不必然增加统计证据。该框架还推广到预测子的后验分布以及加权多源融合，其中权重通过最小化未来风险上界而非仅经验误差来选择。在异构多模态高斯混合上训练线性分类器的实验比较了 K 折 CV 与全样本重代入加风险修正。界通过覆盖率和紧致度进行评估。在低维小样本设定下，K 折划分可能因单折低估少数模式而增加不确定性，而修正重代入仍可能有效且更紧；随着样本量增加该效应消失。总体而言，gamma-CUBV 将观测性能、不确定性、依赖性、模型复杂度和置信度分离为显式项，提供了从 CV 分数到风险陈述的统一路径，以及面向神经影像等异构小样本应用的原则性验证准则。

点评: 直击”用 CV 准确率当证据”这一普遍但缺乏理论根基的做法，给出的有效折数公式对实践者如何设计验证协议很有警示意义。

7. 通过你训练过的测试：重新评估面向 LLM Agent 的 Prompt 注入检测器

作者: Zhuowen Liu | 分类: cs.CR, cs.CL 链接: arxiv.org/abs/2610.03448

LLM Agent 越来越多地使用小型 prompt 注入检测器来筛查工具输出，团队则根据检测器在公开基准上的分数进行选择。我们追问：这些分数能否预测检测器在 Agent 内部的实际行为。我们重放两个 Agent 基准（AgentDojo 和 tau-bench）的 ground-truth 工具调用，不使用 LLM，从而获得构造上即为良性的工具输出；通过差分重放为注入输出打标签；并在这批输出以及 BIPIA 基准上评估十五个检测器，包括 Meta 的 Prompt Guard 2，以及两个任务感知的 LLM 评判器。检测排名在不同基准之间迁移性很差：BIPIA 上最好的检测器在 1% 假阳性率下只能捕获 2% 的 AgentDojo 注入，而一个能捕获 72% AgentDojo 注入的检测器在 tau-bench 上只能捕获 15%。工具输出上的假阳性率（从零到超过 90% 不等）在两个 Agent 基准之间却可以迁移。在训练数据公开的情况下，训练输入的形式解释了这些结果。BIPIA 冠军是在完整 BIPIA 输入上训练的，但仅见过 InjecAgent 攻击字符串作为短 prompt 并不能帮助它在工具输出中找到这些字符串；在两个 Agent 基准上都表现最好的检测器与任何基准都不共享数据，且是在 Agent 风格输入上训练的。面向部署的评估应使用 Agent 自身的工具输出，在低假阳性率下报告检测率，并审计检测器的训练数据。

点评: 揭示了一个被忽视的严重问题——公开 benchmark 排行榜几乎无法预测检测器在真实 Agent 工具调用链中的表现，这对所有做 Agent 安全选型的人都是一记警钟。

8. 重新审视声乐合奏多音高估计中的输入时频表示

作者: Junyoung Koh, Hao-Wen Dong | 分类: cs.SD, cs.AI 链接: arxiv.org/abs/2610.03656

声乐合奏中的多音高估计（MPE）颇具挑战，因为歌手的音高范围重叠，且常以相近的基频演唱，导致其谐波在时频表示中相互重叠。现有模型通常使用基于谐波常数-Q 变换（HCQT）的表示来提供频率自适应分辨率，代价是在训练混合样本动态生成时昂贵的特征提取开销。我们重新审视这一设计，将 HCQT 与直接将频率 bin 作为模型输入的线性短时傅里叶变换（STFT）进行比较。尽管频率分辨率固定且没有音高对齐的输入网格，线性 STFT 仍优于 HCQT，同时大幅降低特征提取成本。进一步分析表明，更长的分析窗或更宽的频谱覆盖并未带来额外改进，而将输入限制在预测音高范围内反而会削弱线性 STFT 的优势。这些结果表明，更细的频率分辨率并不必然改善声乐合奏 MPE，较短的分析窗对时变人声音高可能更为有效。

点评: 一个反直觉的实证结论——简单线性 STFT 反而打败了精心设计的 HCQT，提醒我们在追求”更专业特征”前先做扎实的基线对比。

本内容由 AI 辅助生成，论文信息来源于 arXiv。