多模态规划、弱模型引导强化学习与智能体安全对齐

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖大模型推理强化学习（RLVR与ES策略）、图推理智能体、多模态推理加速、智能体安全、具身智能任务规划、代码智能体数据筛选以及分布强化学习理论等多个前沿方向。

1. 借助弱模型引导提升 RLVR 中的 LLM 探索能力

作者: Xingyu Shen, Huishuai Zhang, Peng Li, Yinchun Wang, Dongyan Zhao | 分类: cs.CL 链接: arxiv.org/abs/2608.27420v1

基于可验证奖励的强化学习（RLVR）显著提升了 LLM 的推理能力，但常常导致策略熵下降，造成推理覆盖范围收窄，使得 pass@k（k 较大时）性能退化。现有方法多通过算法正则化缓解熵坍缩，但忽略了跨模型的非参数扰动。本文提出一种简单有效的方法：在 RLVR 过程中，强制目标模型基于一个更小、更弱的语言模型生成的部分推理轨迹来得出答案。这些陌生前缀能有效打破过置信，鼓励模型探索不同的推理路径。实验表明，该方法在多个数学基准上持续优于标准 RLVR，且随着 k 增大，性能增益愈发显著，证明推理覆盖范围得到大幅扩展。此外，该方法无需额外 SFT、复杂奖励设计或提示工程即可有效缓解熵坍缩。

点评: 逆向思维亮点——用弱模型的“不完美”轨迹作为外部扰动源来对抗 RL 的过度自信，为缓解熵坍缩提供了免训练的轻量新思路。

2. GRAIN：通过不变性奖励智能体 RL 弥合真实世界图推理中的名称与叙事漂移

作者: Zike Yuan, Han Zhang, Jianzhi Yan, Le Liu, Cai Ke et al. | 分类: cs.AI 链接: arxiv.org/abs/2608.27142v1

尽管 LLM 在标准化图任务中表现出色，但在面对节点标识符和任务表述的真实世界变化时仍很脆弱。本文提出 GRAIN，一个通过强化学习优化的单智能体框架。GRAIN 将推理建模为语义解析和工具执行流水线，并由结构不变性奖励（Structure Invariance Reward）引导，迫使 LLM 学习稳健的文本到结构的映射，而非记忆语言表面模式。同时引入 GRIT 基准来评估对语言漂移的敏感性。GRAIN 在准确率上比多智能体基线高出 16.45%，延迟降低约 24%；在分布外（OOD）泛化上将 SFT 模型的差距从 15.77% 缩小到 7.80%。

点评: 直击 LLM 图推理泛化性差的痛点，用“结构不变性”作为奖励信号是优雅的解法，且在延迟上胜过复杂的多智能体方案，实用性突出。

3. 理解用于 LLM 推理的进化策略：比 GRPO 更广阔的推理覆盖

作者: Yunpeng Ba, Zhi Zheng, Yue Xie, Jiaqing Li, Xialiang Tong et al. | 分类: cs.LG 链接: arxiv.org/abs/2608.27351v1

进化策略（ES）近来成为 LLM 推理的一种省内存后训练范式，但其优化行为研究不足。本文系统研究了 ES 的动力学与机制，首次从理论和实证上指出 ES 相比 GRPO 的优势：能带来更广阔的推理覆盖，从而更好利用预训练 LLM 的推理能力。理论上证明了 ES 群体中验证器投影的 Jensen-Shannon 多样性有助于提升 Pass@K；实证发现 GRPO 会出现熵坍缩而 ES 则在提升 Pass@1 的同时获得更高的 Pass@K。此外，尽管 ES 导致整体模型参数漂移，但任务性能增益仅由稀疏的大幅更新子集贡献，表明大参数移动不必然导致广泛功能变化。研究还发现，更大的 LLM 需要更小的种群规模。

点评: 该论文为 ES 作为独立的后训练范式正名，并厘清了它与 GRPO 的互补优势，对推理模型的训练策略选型具有重要指导意义。

4. PACE：面向快速 VLM 推理的统一“压缩-提取”范式

作者: Junjie Liu, Shengyuan Ye, Xu Chen | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2608.27206v1

视觉语言模型（VLM）推理成本随视觉 token 数量激增。现有剪枝方法大多仅在视觉编码器之后操作，未优化视觉编码阶段的延迟，且在严格 token 预算下难以同时保留整体上下文和细粒度细节。本文提出 PACE，一种免训练推理框架，通过统一的“压缩-提取”范式同时加速视觉编码器和 LLM。压缩阶段的自适应像素压缩器（APC）在编码前评估信息密度，自适应降采样冗余输入；提取阶段的动态双注意力提取器（DDAE）融合来自编码器的内部视觉信号和 LLM 的语义信号，选择性保留关键视觉 token。集成到 Qwen2.5-VL-7B 后，仅用 10% 的视觉 token 即可保留 93.8% 的原始性能，首 token 时间（TTFT）提升 3.1 倍。

点评: 同时优化编码器和 LLM 两阶段延迟，且免训练即可落地，对 VLM 的实时部署价值显著。

5. 安全性不可组合：自主 LLM 智能体的非衰减循环状态

作者: Chenhao Wu, Haoxuan Jia, Yang Liu, Yingguang Yang, Yuhan Lin et al. | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2608.27141v1

LLM 智能体正越来越多地以自主循环方式部署，但广泛使用的智能体安全机制仅针对单条轨迹定义，安全状态在每次新的轨迹开始时被重置。本文证明这是一个组合性失败：对于攻击证据分散在多次迭代中的情况，任何轨迹级监控器的真阳性率都等于假阳性率；而保留跨迭代状态的监控器则能完美区分两者。论文进一步证明简单的几何衰减风险评分修复并不足够。随后提出 LoopHarness，在循环级别恢复持久、非衰减的安全状态，并对不可逆操作的期望数量给出与水平 N 无关的常数界。

点评: 从理论层面揭示了当前智能体安全机制的根本缺陷，并给出了可证明的修复方案，对自主智能体的安全部署具有深远意义。

6. STEP：面向人机协作的多模态 LLM 状态感知任务估计与规划

作者: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2608.27225v1

在工业场景中，人机协作要求机器人理解人类意图并辅助任务规划。MM-LLM 虽可用于此类数据稀缺场景下的任务规划，但本质上缺乏对系统状态的理解，不追踪状态转移，常导致与目标偏离的幻觉动作。此外，以自然语言生成动作计划往往停留在高层，给执行带来歧义。本文提出状态感知任务估计与规划器（STEP），提示 MM-LLM 显式估计系统状态并预测由已执行动作导致的状态转移。通过同时预测未来状态和动作，STEP 确保规划的任务收敛性，并提供执行预测动作所需的辅助参数。在模拟机器人装配任务中，STEP 在动作可执行性上比 SOTA 提升 32.8%，最终状态误差降低 14.8%。

点评: 将“状态追踪”引入 MM-LLM 任务规划是一种有效的纠偏机制，显著提升了规划的可执行性与目标可达性，对具身智能落地有借鉴意义。

7. SWE-Prime：更少的轨迹，更好的性能

作者: Dewu Zheng, Ruizhe Ye, Yanlin Wang, Yang Ye, Hongyu Zhang et al. | 分类: cs.SE, cs.AI, cs.CL 链接: arxiv.org/abs/2608.27449v1

为提升 LLM 解决真实软件问题的能力，以往工作致力于构建大规模智能体轨迹数据集并在成功轨迹上做 SFT。然而任务成功并不保证监督质量：成功轨迹中仍可能包含低效、冗余甚至危险的步骤，直接使用会引入噪声监督。本文提出 SWE-Prime，一种多粒度、两阶段的 SFT 数据筛选方法：第一阶段在轨迹层面基于过程质量、结果质量和数据代表性进行筛选；第二阶段在片段层面按语义分组并评估每个片段对最终解决方案的贡献、可学习性和潜在风险。实验显示，用 SWE-Prime 筛选出的 10% 轨迹子集训练，在 SWE-Bench Pro 和 SWE-Bench Verified 上分别比在完整已解决数据集上训练相对提升 12.2% 和 24.2%。

点评: 颠覆了“更多成功数据总是更好”的直觉，证明了数据质量筛选在代码智能体 SFT 中的关键作用，极具工程参考价值。

8. 分布强化学习中分位数时序差分学习的有限样本分析

作者: Zijie Cheng, Xiang Li, Yang Peng, Zhihua Zhang | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2608.27313v1

本文建立了表格分布强化学习中同步分位数时序差分学习（QTD）的全局有限样本保证。证明分离了两种稳定性机制：基于奖励累积分布函数序单调性和分布贝尔曼算子 W∞ 压缩的全局比较论证，将任意初始化的迭代带入局部邻域；在邻域内线性化 QTD 均场，其雅可比矩阵为非奇异 M-矩阵，相关正半群允许进行方差敏感的鞅分析。对于步长 α_t=c(t+1)^{-a}（a∈(1/2,1)），最后一次迭代波动的主阶为 Õ(T^{-a/2}/√(1-γ))，且对分位数数量无多项式依赖。确定性瞬态和所需 burn-in 可能依赖于最小贝尔曼目标密度，最坏情况下为 m^{-1} 阶。

点评: 为 QTD 提供了迄今最清晰的全局收敛理论刻画，明确区分了局部随机波动与全局样本复杂度，对分布强化学习的理论基石是重要补充。

本内容由 AI 辅助生成，论文信息来源于 arXiv。