RLVR弱模型引导、图推理不变性、演化策略与分布强化学习

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 推理强化学习、Agent 安全、VLM 推理加速、具身智能与机器人协作、以及代码智能体数据筛选等多个前沿方向。本期的焦点包括：通过弱模型引导提升 RLVR 探索多样性、利用 Evolution Strategies 扩展 LLM 推理覆盖、跨状态安全监控的循环 Agent 理论框架，以及针对 QTD 算法的有限样本收敛性分析。

1. 通过弱模型引导提升 RLVR 中的 LLM 探索能力

作者: Xingyu Shen, Huishuai Zhang, Peng Li, Yinchun Wang, Dongyan Zhao | 分类: cs.CL 链接: arxiv.org/abs/2608.27420v1

带可验证奖励的强化学习（RLVR）显著提升了 LLM 的推理能力，但往往导致策略熵下降，进而缩小推理覆盖范围，损害大批次（pass@k 中 k 较大时）的表现。现有方法多通过算法正则化缓解熵崩塌，但忽略了跨模型的非参数扰动的潜力。本文提出了一种简单有效的方法：在 RLVR 训练中，强制目标模型基于一个更小、更弱的语言模型生成的部分推理轨迹来产生答案。这些陌生前缀能有效打破过度自信，鼓励模型探索不同的推理路径。通过多个数学基准实验，该方法在 RLVR 基础上实现了一致且随 k 增大而愈发显著的性能提升，并在不引入额外 SFT、复杂奖励设计或提示工程的情况下，有效缓解了熵崩塌问题。

点评: 巧妙地利用了“弱模型前缀”作为外部探索信号，为解决 RLVR 中推理多样性坍缩这一经典难题提供了低成本、高收益的新思路。

2. GRAIN：通过不变性奖励的智能体 RL 弥合真实世界图推理中的名称与叙述偏移

作者: Zike Yuan, Han Zhang, Jianzhi Yan, Le Liu, Cai Ke et al. | 分类: cs.AI 链接: arxiv.org/abs/2608.27142v1

尽管 LLM 在标准化图任务上表现优异，面对节点标识符和任务表述的真实世界变化时仍显脆弱。确定性图工具对这些变化具有不变性，但 LLM 从嘈杂文本中提取拓扑结构的能力却不稳定，容易过拟合表面模式。为此，本文提出单智能体框架 GRAIN，通过强化学习优化，将推理建模为语义解析与工具执行管线，并引入结构不变性奖励。该奖励通过将提取的中间图与真实拓扑结构比对，迫使 LLM 学习稳健的文本-结构映射。同时发布了基准 GRIT。GRAIN 相比多智能体基线在准确率上提升 16.45%，延迟降低约 24%，并将 SFT 模型的分布外泛化差距减半（从 15.77% 降至 7.80%）。

点评: 直击 LLM 在图推理中对表面语言的过拟合痛点，通过奖励设计强制学习结构不变性，在性能和效率上均优于复杂的多智能体方案。

3. 理解用于 LLM 推理的进化策略：比 GRPO 更广的推理覆盖

作者: Yunpeng Ba, Zhi Zheng, Yue Xie, Jiaqing Li, Xialiang Tong et al. | 分类: cs.LG 链接: arxiv.org/abs/2608.27351v1

进化策略（ES）已成为 LLM 推理的一种内存高效的后训练范式，但其优化行为尚未得到充分研究。本文系统研究了 ES 的动态与机制，理论与实证表明 ES 相比 GRPO 能带来更广泛的推理覆盖，从而更好地利用预训练 LLM 的推理能力。与表现出熵崩塌的 GRPO 不同，ES 在提升 Pass@1 的同时实现了更高的 Pass@K。作者进一步提出了 GRPO 与 ES 的序列化训练策略。此外，研究发现尽管 ES 导致大量参数漂移，但任务性能的提升仅归因于少数幅度较大的更新子集，这种功能稀疏性意味着大的参数移动不一定引发广泛的功能变化，也不必然导致灾难性遗忘。

点评: 该工作首次深入剖析了 ES 在 LLM 推理后训练中的优化行为，明确了其相对于 GRPO 的独特优势，为推理模型的训练范式选择提供了更坚实的理论基础。

4. PACE：面向快速 VLM 推理的统一压缩-提取范式

作者: Junjie Liu, Shengyuan Ye, Xu Chen | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2608.27206v1

视觉语言模型（VLM）展现了非凡的视觉推理能力，但其推理成本随视觉 token 数量激增而急剧上升。现有视觉 token 剪枝方法存在两个局限：多数仅在视觉编码器之后操作，未优化视觉编码阶段的延迟；且在严格 token 预算下难以同时保留整体视觉上下文和细粒度细节。为此，本文提出 PACE（Pixel-Adaptive Condense and Extract），一个无需训练的推理框架，通过统一的压缩-提取范式同时加速视觉编码器和 LLM。在压缩阶段，自适应像素压缩器（APC）在编码前评估视觉信息密度并自适应降采样冗余输入；在提取阶段，动态双注意力提取器（DDAE）融合编码器的内部视觉信号与 LLM 的语义信号以保留关键 token。将 PACE 集成到 Qwen2.5-VL-7B 后，模型仅使用 10% 的视觉 token 即保留了 93.8% 的原始性能，首 token 时间加速 3.1 倍。

点评: 同时优化了视觉编码器和 LLM 两个阶段的延迟，是 VLM 推理加速领域一个全面且实用的训练-free 方案。

5. 安全无法组合：自主 LLM Agent 的非衰减循环状态

作者: Chenhao Wu, Haoxuan Jia, Yang Liu, Yingguang Yang, Yuhan Lin et al. | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2608.27141v1

大语言模型 Agent 正越来越多地被部署为自主循环系统，在多次无人迭代中持续发现任务、规划、执行工具并维持状态。然而，广泛使用的 Agent 安全措施是针对单一轨迹定义的，其安全状态会在新轨迹开始时重置。本文证明这是一个组合失效问题。核心结果是：面对攻击证据分散在多次迭代中的攻击，任何轨迹级监控器的真阳性率都等于其假阳性率，因为其所需的证据从未出现在其可见窗口中；而保留跨迭代状态的监控器则能完美区分两者。文章还指出带有几何衰减风险评分的简单修复方案不够充分，因为耐心对手所需的冷却时间是常数，不随水平线 N 增长。为此，作者提出 LoopHarness，在循环级别恢复持久的非衰减安全状态，并为不可逆操作提供常数级别的期望上界。

点评: 为循环 Agent 的安全性建立了一个严谨的理论框架，深刻揭示了“单次轨迹安全”在长时间运行场景下的根本缺陷，对 Agent 安全部署具有重要的指导意义。

6. STEP：面向人机协作的多模态 LLM 状态感知任务估计与规划

作者: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2608.27225v1

在工业环境中实现有效的人机协作，要求机器人理解人类意图并辅助任务规划。近期工作尝试利用多模态大语言模型（MM-LLM）进行此类数据稀缺场景下的任务规划，通过上下文学习解释用户动作并生成自然语言的长周期动作计划。然而，MM-LLM 天然缺乏对系统状态的理解且不追踪状态转换，常导致产生偏离目标的行为。此外，生成自然语言动作计划往往停留在高层级，给执行带来歧义。为此，本文提出 STEP（State-aware Task Estimator and Planner），提示 MM-LLM 显式估计系统状态并预测由已执行动作导致的状态转换。通过在预测动作的同时预测未来状态，STEP 确保了任务收敛的规划，并提供了执行预测动作所需的辅助参数。在模拟机器人装配任务中，STEP 在动作可执行性上领先 SOTA 32.8%，在最终状态误差上领先 14.8%。

点评: 解决了 MM-LLM 在机器人任务规划中“状态盲”的缺陷，通过显式的状态转换预测显著提升了规划的可执行性和鲁棒性。

7. SWE-Prime：更少的轨迹，更好的性能

作者: Dewu Zheng, Ruizhe Ye, Yanlin Wang, Yang Ye, Hongyu Zhang et al. | 分类: cs.SE, cs.AI, cs.CL 链接: arxiv.org/abs/2608.27449v1

为提升 LLM 解决真实软件问题的能力，以往工作侧重于构建大规模 Agent 轨迹数据集并在成功轨迹上进行监督微调（SFT）。然而，任务成功并不保证监督信号质量高：成功轨迹也可能包含无效、冗余或高风险步骤。直接使用此类轨迹进行 SFT 会引入噪声监督，并鼓励模型模仿不良的问题解决行为。为此，本文提出 SWE-Prime，一种多粒度、两阶段的 SFT 数据选择方法，在轨迹和片段层面逐步过滤数据。第一阶段根据过程质量、结果质量和数据代表性进行轨迹级筛选；第二阶段将连续步骤分组为语义片段，根据其对最终解决方案的贡献、可学习性和潜在风险进行评估。实验表明，在 SWE-Bench Pro 和 SWE-Bench Verified 上，使用 SWE-Prime 选择的 10% 轨迹子集训练，优于在全部已解决轨迹上训练，相对性能提升分别高达 12.2% 和 24.2%。

点评: 打破了“成功轨迹即高质量数据”的惯例，证明了精细化的数据筛选可以显著超越大规模数据的简单堆砌，为代码智能体训练数据的构建提供了新范式。

8. 分布强化学习中分位数时序差分学习的有限样本分析

作者: Zijie Cheng, Xiang Li, Yang Peng, Zhihua Zhang | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2608.27313v1

本文为表格型分布强化学习中的同步分位数时序差分学习（QTD）建立了全局有限样本保证。证明过程分离了两种稳定机制。基于奖励累积分布函数的序单调性和分布贝尔曼算子的 W∞ 收缩性，通过全局比较论证将任意初始化的迭代引入局部邻域；在该邻域内，将 QTD 均场线性化，其 Jacobian 为非奇异 M-矩阵，相关的正半群允许进行方差敏感的鞅分析。对于步长 αt=c(t+1)^{-a}（其中 a∈(1/2,1)），最后迭代的波动主项为 O(T^{-a/2}/√(1-γ))，且对分位数数量无多项式依赖。确定性瞬态和所需 burn-in 时间仍可能依赖于最小贝尔曼目标密度，最坏情况下为 m^{-1} 阶。该结果严格区分了局部随机波动与全局样本复杂度。

点评: 为 QTD 算法提供了严谨的理论基石，推动了对分布强化学习算法收敛特性的深层理解，尤其是清晰地分离了随机波动与全局复杂度。

本内容由 AI 辅助生成，论文信息来源于 arXiv。