弱模型引导强化推理、Agent安全与具身协作新进展
精选 8 篇 AI/ML 论文，涵盖CL, AI, LG, CV, CR, RO, SE, stat.ML等方向
今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 推理强化学习、图推理智能体、Vision-Language 模型加速、LLM Agent 安全、机器人任务规划、代码智能体数据筛选以及分布强化学习理论分析等热门方向。
1. 利用弱模型引导提升 RLVR 中的 LLM 探索能力
作者: Xingyu Shen, Huishuai Zhang, Peng Li, Yinchun Wang, Dongyan Zhao | 分类: cs.CL 链接: arxiv.org/abs/2608.27420v1
带可验证奖励的强化学习（RLVR）显著提升了 LLM 的推理能力，但常常导致策略熵下降，造成推理覆盖范围收窄，损害大步长（pass@k）表现。现有方法大多通过算法正则化缓解熵坍缩，却忽略了跨模型的非参数扰动。本文提出一种简单有效的方法：不依赖纯内部探索，而是强制目标模型基于更小的弱模型生成的部分推理轨迹来生成答案，利用不熟悉的前缀打破过度自信，激励模型探索不同推理路径。多个数学基准实验显示，该方法稳定优于标准 RLVR，且随着 k 的增大性能优势更明显，有效扩大了推理覆盖范围，且无需额外 SFT、复杂奖励设计或提示工程。
点评: 提出了一种极具实用价值的”外部扰动”思路，用弱模型引导探索，成本低、效果好，为解决 RLVR 熵坍缩问题提供了全新视角。
2. GRAIN：通过不变性奖励智能体强化学习弥合真实世界图推理中的名称与叙事漂移
作者: Zike Yuan, Han Zhang, Jianzhi Yan, Le Liu, Cai Ke et al. | 分类: cs.AI 链接: arxiv.org/abs/2608.27142v1
尽管 LLM 在标准化图任务上表现出潜力，但面对节点标识符和任务表述的真实世界变化时仍然脆弱。本文提出 GRAIN，一个基于强化学习的单智能体框架，将推理建模为语义解析和工具执行流程，并通过结构不变性奖励进行引导。该奖励通过将提取的中间图与真实拓扑对比，强制 LLM 学习稳健的文本-结构映射而非记忆表面模式。作者还引入了评估此类语言漂移敏感度的基准 GRIT。GRAIN 在准确率上比多智能体基线高出 16.45%，延迟降低约 24%，并将分布外（OOD）差距从 15.77% 缩小至 7.80%。
点评: 直击 LLM 在图推理中”换皮就懵”的痛点，用结构不变性奖励提升泛化能力，且比多智能体方案更快更准，工程价值很高。
3. 理解 LLM 推理的进化策略：比 GRPO 更广的推理覆盖
作者: Yunpeng Ba, Zhi Zheng, Yue Xie, Jiaqing Li, Xialiang Tong et al. | 分类: cs.LG 链接: arxiv.org/abs/2608.27351v1
进化策略（ES）近来成为 LLM 推理的一种省内存后训练范式，但其优化行为研究不足。本文系统考察了 ES 的动态与机制，理论和实验均表明 ES 相较 GRPO 能带来更广的推理覆盖，更好地利用预训练 LLM 的能力。理论证明，ES 群体中验证器投影的 Jensen-Shannon 多样性有助于提升 Pass@K。实验显示，与 GRPO 的熵坍缩不同，ES 在提升 Pass@1 的同时获得比 GRPO 更高的 Pass@K。文章还发现 ES 的性能收益仅由少数大幅度更新贡献，整体参数漂移大但功能变化稀疏，不一定导致灾难性遗忘，且更大的 LLM 需要更小的 ES 群体规模。
点评: 首次系统论证了 ES 作为独立推理后训练范式的价值，而非 GRPO 的”低配替代品”，为后训练算法选型提供了扎实的理论与实验依据。
4. PACE：面向快速 VLM 推理的统一压缩-抽取范式
作者: Junjie Liu, Shengyuan Ye, Xu Chen | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2608.27206v1
视觉语言模型（VLM）推理成本随视觉 token 激增而快速上升。现有视觉 token 剪枝方法有两处根本局限：多数只在视觉编码器之后操作，未优化编码阶段延迟；且在严格 token 预算下难以同时保留整体视觉上下文与细粒度细节。为此，作者提出 PACE（Pixel-Adaptive Condense and Extract），一种免训练的推理框架，通过统一的压缩-抽取范式同时加速视觉编码器和 LLM。压缩阶段由自适应像素压缩器（APC）在编码前评估视觉信息密度，自适应下采样冗余输入；抽取阶段由动态双注意力抽取器（DDAE）融合编码器内部视觉信号与 LLM 语义信号，选择性保留关键 token。集成到 Qwen2.5-VL-7B 后，仅用 10% 视觉 token 即保留 93.8% 性能，TTFT 提速 3.1 倍。
点评: 同时优化编码器与 LLM 两阶段延迟的思路很务实，免训练、即插即用，对 VLM 实际部署的性价比提升非常直观。
5. 安全不可组合：自主 LLM Agent 的非衰减循环状态
作者: Chenhao Wu, Haoxuan Jia, Yang Liu, Yingguang Yang, Yuhan Lin et al. | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2608.27141v1
LLM Agent 正越来越多地以自主循环方式部署：从人类目标出发，系统反复发现工作、规划、执行工具调用、验证结果并在多次无人值守迭代中持久化状态。然而，主流 Agent 安全机制是针对单条轨迹定义的，其安全状态在下一轨迹开始时被重新初始化。本文证明这是一个组合失效问题：对于证据分散在多次迭代中的攻击，任何轨迹级监控器的真阳性率都等于假阳性率，而保留跨迭代状态的监控器则可完美区分。文章还指出简单的几何衰减风险评分不充分，并提出 LoopHarness 框架，在循环级别恢复持久、非衰减的安全状态，将未授权不可逆操作的期望次数限制为与迭代次数 N 无关的常数。
点评: 严肃地指出了当前 Agent 安全评估的根本盲区——跨迭代的碎片化攻击，理论证明清晰，LoopHarness 的设计具有重要的现实防护意义。
6. STEP：基于多模态 LLM 的状态感知任务估计与规划用于人机协作
作者: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2608.27225v1
在工业场景中实现高效人机协作，需要机器人理解人类意图并辅助任务规划。近年研究利用多模态大语言模型（MM-LLM）在数据稀缺场景下进行任务规划，通过上下文学习解释用户动作并生成长程自然语言行动计划。然而 MM-LLM 天然缺乏系统状态理解，不跟踪状态转换，常产生偏离目标的幻觉动作。本文提出状态感知任务估计与规划器（STEP），提示 MM-LLM 显式估计系统状态并预测执行动作后的状态转换。通过同步预测未来状态与动作，STEP 确保任务收敛性规划，同时提供执行预测动作所需的辅助参数。在模拟机器人装配任务中，STEP 在动作可执行性上比 SOTA 提升 32.8%，终态误差降低 14.8%。
点评: 让 MM-LLM 显式建模状态转换是消除规划幻觉的有效手段，对工业人机协作中”看懂并做对”这一关键环节有明显的实用价值。
7. SWE-Prime：更少的轨迹，更好的性能
作者: Dewu Zheng, Ruizhe Ye, Yanlin Wang, Yang Ye, Hongyu Zhang et al. | 分类: cs.SE, cs.AI, cs.CL 链接: arxiv.org/abs/2608.27449v1
为提升 LLM 解决真实软件问题的能力，已有工作多聚焦于构建大规模 Agent 轨迹数据集并对成功轨迹进行监督微调（SFT）。然而，任务成功并不保证监督质量：成功轨迹仍可能含无效、冗余甚至危险步骤。本文提出 SWE-Prime，一种多粒度、两阶段的 SFT 数据筛选方法：第一阶段基于过程质量、结果质量和数据代表性进行轨迹级筛选；第二阶段将连续步骤分组为语义片段，基于最终解贡献度、可学习性和潜在风险逐片段评估。训练时保留所有片段以保证上下文，但仅选中片段参与损失计算。在 SWE-Bench Pro 和 SWE-Bench Verified 上，仅用 10% 轨迹子集训练即超过全量成功轨迹训练，相对性能提升最高达 12.2% 和 24.2%。
点评: 打破了”成功轨迹=优质监督”的惯性认知，用多粒度筛选显著提升数据效率，对代码 Agent 的 SFT 数据工程建设具有直接指导意义。
8. 分布强化学习中分位数时序差分学习的有限样本分析
作者: Zijie Cheng, Xiang Li, Yang Peng, Zhihua Zhang | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2608.27313v1
本文建立了表格型分布强化学习中同步分位数时序差分学习（QTD）的全局有限样本保证。证明分离了两种稳定性机制：基于奖励累积分布函数序单调性和分布贝尔曼算子 W∞ 压缩性的全局比较论证，将任意初始化的迭代带入局部邻域；在该邻域内对 QTD 均场线性化，其 Jacobian 为非奇异 M-矩阵，相关的正半群允许方差敏感的鞅分析。对于步长 α_t=c(t+1)^{-a}（a∈(1/2,1)），最后迭代波动的主阶为 Õ(T^{-a/2}/√(1-γ))，不随分位数数量多项式增长。确定性瞬态与所需预热时间仍可能依赖最小贝尔曼目标密度，最坏情况为 m^{-1} 阶。
点评: 为 QTD 算法提供了严谨的全局收敛保证，清晰区分了局部随机波动与全局样本复杂度，是分布强化学习理论分析的重要推进。
本内容由 AI 辅助生成，论文信息来源于 arXiv。