强化学习策略优化、多智能体评测与自主ML工程

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖强化学习与 LLM 推理优化、多智能体评估与自治 ML 工程、视觉感知智能体、自动驾驶安全攻防，以及稀疏计算、分词算法和贝叶斯推断等方向。

1. 半事实信用增强的策略优化

作者: Junshu Pan, Zhizhang Fu, Shulin Huang, Yiran Ding, Zifan Cheng 等 | 分类: cs.LG, cs.AI, cs.CL 链接: arxiv.org/abs/2609.40360

带可验证奖励的强化学习（RLVR）提升了大语言模型（LLM）的推理能力，但其预测仍对与任务无关的提示特征敏感。我们通过半事实提示干预（在保留问题及其答案的前提下修改表层特征）研究这种敏感性。分析揭示了 token 级敏感度的显著差异，并表明在解码时抑制高漂移的 token 候选可在不更新模型权重的情况下提升推理准确率。这些发现凸显了 Group Relative Policy Optimization（GRPO）的局限：它将同一由结果导出的优势值分配给每个回答 token，可能在强化有用推理的同时也强化潜在的虚假依赖。受此启发，我们提出半事实信用增强的策略优化（SCAPO），一种受因果启发的 GRPO 变体，将半事实稳定性纳入 token 级信用分配。SCAPO 在半事实干预下测量固定响应的 token 概率漂移，并用归一化稳定性分数在训练早期降低相对不稳定 token 的优势值，同时不为稳定性本身发放额外信用。在 Qwen3-4B-Base 与 Qwen3-1.7B-Base 上，SCAPO 相对 GRPO 分别将 AIME 2024-2026 准确率提升 5.63 和 4.17 个百分点。在两个模型规模上，SCAPO 在所比较方法中于多数评测数学基准及全部分布外基准上取得最佳结果。这表明半事实稳定性为通过 RLVR 中更细粒度信用分配提升推理与泛化提供了一种有效训练信号。代码见 https://github.com/DtYXs/SCAPO。

点评: 直击 GRPO 把同一优势值摊到所有 token 这一被诟病已久的粗糙之处，用”换皮不换题”的半事实干预来甄别哪些 token 在真正推理、哪些只是在蹭表面特征，思路干净且涨点扎实。

2. JuryFlow：分歧引导的人在回路多智能体评估

作者: Mufeng Yang, Junwei Yu, Yepeng Ding | 分类: cs.CL, cs.HC 链接: arxiv.org/abs/2609.40103

大语言模型（LLM）越来越多地被用作 AI 生成内容的自动评判者，但单一评判者并不可靠，即便采用评判小组也留下一个顽固残余：当评判者意见不一致时，多数投票把冲突丢弃而非化解。我们提出 JuryFlow，一个分歧引导、人在回路的多智能体评估框架，将评判者间的分歧视为指示评估不确定位置的精确 claim 级信号，而非需要平均掉的噪声。JuryFlow 将每个候选回答分解为原子 claim，由异构评判小组对每条 claim 给出裁决，并构建分歧图——节点由裁决熵打分，边编码 claim 间的结构相似性。人类作为结构引导者，通过一次最小干预选择要化解的分歧，而非重新标注整个回答；随后焦点 claim 被重新评估，修正沿图边传播并扩散到历史相似案例，最终固化为所有评判者共享的可复用评分细则，使评判器逐步自我精炼。为在无人类研究的情况下实现大规模可复现基准测试，我们在自动配置下评估 JuryFlow，其中焦点选择由熵排序完成。在 MT-Bench 和 LLMBar 上，JuryFlow 相比单评判者和多数投票小组基线提升了与金标签的一致率，消融实验分离出分歧定向重评估、传播与细则归纳各自的贡献。我们的贡献包括：（1）一种将人类从标注者转变为结构引导者的人在回路范式；（2）通过分歧图、焦点重评估与闭环细则归纳来落地该范式的 JuryFlow 框架；（3）一套带消融的实验协议，可定位增益来源。

点评: “把分歧当信号而不是噪声”是 LLM-as-judge 领域一个正确的方向，claim 级分歧图加一次最小人工干预的设计，比让人类重标整条回答务实得多，细则可复用这点也很有工程价值。

3. 强智能体做自治 ML 工程到底需要多少”脚手架”？

作者: Kirill Brilliantov, Alejandro Hernández-Cano, Emmanuel Abbé | 分类: cs.AI 链接: arxiv.org/abs/2609.40303

近来的自治机器学习工程（MLE）智能体在公开排行榜上取得显著进展。由于长周期循环中的进展停滞与 LLM 原语能力有限，现代 MLE 智能体往往部署在日益复杂的机制之上：多智能体编排器、专用检索子智能体等等。然而，在这类脚手架不断膨胀的同时，更原始但更强的编码智能体（LLM 通过 read、write、bash 原语直接访问执行环境）的使用在該领域却鲜受关注。本文发现，在相同时间预算与相同前沿 LLM 骨干下，开源最先进的脚手架相比单会话的最小脚手架编码智能体基线并无优势，表明骨干模型才是性能的主要驱动因素。通过一系列大规模系统性消融研究，我们认为在编码智能体设定下这些机制层变得冗余。结论是：围绕强模型精心打造手工脚手架，对当前 MLE 基准而言回报很低。

点评: 一篇难得的”泼冷水”论文。当大家都在堆多智能体编排时，它用等时间预算的对照实验说明：强骨干 + 裸编码循环就够，脚手架收益递减——这对工程资源分配是个直接且昂贵的提醒。

4. EviRover：超越一瞥的智能体式感知强化

作者: Kaixuan Fan, Kaituo Feng, Tianshuo Peng, Yilei Jiang, Manyuan Zhang 等 | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2609.40230

视觉感知通常被建模为对图像”一瞥”的一次性预测，其假设是图像内容与模型参数化知识足以解答查询。这一假设在依赖细粒度视觉细节、或需要知识密集与最新信息的真实场景中常常失效。我们将此类情形称为”证据不足下的感知”，并把感知形式化为可获取超越单次一瞥信息的智能体式过程。为填补该设定下的数据空白，我们设计了两条专用数据生成流水线，产出 EviRover-SFT-5K 与 EviRover-RL-12K 用于训练。我们进一步构建了 EviLens，一个经人工校验、覆盖五类感知任务的 688 例基准。基于这些数据，我们提出 EviRover，据我们所知是首个显式训练以通过交互解决感知查询的感知智能体，采用监督微调后接智能体式强化学习。实验显示，4B 的 EviRover 在 EviLens 上平均超越其骨干 30 分，达到与先进专有模型相当的水平。增益可迁移至 EviLens 之外，包括 WebEyes、常规感知基准以及通用多模态基准，其中 BrowseComp-VL 提升 15 分。全部代码、模型与数据均已开源。

点评: 把”看不清就再看一眼”这件事做成可训练的智能体行为，而不是靠加大分辨率或堆参数，4B 模型靠交互追平专有模型，说明感知的瓶颈有时是信息获取而非表征能力。

5. TACTIC：面向路侧 LiDAR 攻击的时序与上下文感知 LLM 战术规划

作者: Yiming Gao, Shaocheng Luo | 分类: cs.RO, cs.AI, eess.SY 链接: arxiv.org/abs/2609.39969

物理 LiDAR 攻击常以固定原语和人工选定参数来评估，尽管其效果强烈依赖周围交通状况。我们提出 TACTIC，一个场景感知框架，使用多模态大语言模型（MLLM）协调状态自适应的路侧 LiDAR 攻击。在灰盒威胁模型下，TACTIC 仅依赖攻击方自有的路侧感知栈，不访问受害 LiDAR 的原生点云或内部处理。本地感知提供度量级车辆状态，MLLM 将这些测量与路侧图像结合，推断关系性交通上下文并构建语义场景图。基于该表示，TACTIC 选择并配置两种互补原语：push-away，移动前车的被感知距离；以及 phantom-obstacle braking，通过注入障碍触发紧急制动。实测交通状态与经验标定的约束将生成的战术锚定在物理可行操作区间内。为适应 MLLM 延迟，TACTIC 异步重叠推理与执行，同时高频本地感知检测场景变化并触发重规划。在 280 次随机化 CARLA 试验中，完整策略达到 100% 碰撞率，相比之下固定规则为 35%、随机选择为 60%、使用默认参数做模式选择的受限 LLM 为 75%。物理与图像输入联合达到 100% 成功率，而仅物理测量为 65%、仅图像为 75%；异步刷新将场景突变响应从 7.4 秒降至 2.0 秒。结果表明，场景相关的战术规划能暴露固定攻击策略可能遗漏的上下文敏感 LiDAR 失效模式。

点评: 用 MLLM 做攻击战术规划是个双刃剑式的研究：它揭示了自动驾驶感知在”看时机下手”的攻击面前的脆弱性——固定规则 35% 对场景自适应 100% 的碰撞率差距，说明防御方也必须考虑场景相关而非静态的威胁模型。

6. 强化学习引导的图变换用于 SpTRSV 优化

作者: Buse Yılmaz | 分类: cs.DC, cs.LG 链接: arxiv.org/abs/2609.40159

稀疏三角求解（SpTRSV）是众多科学与工程应用中的基础内核。然而，稀疏三角矩阵固有的数据依赖严重限制了可用并行度，并使高效负载分配变得困难。近来的图变换技术通过修改输入矩阵的依赖图来改善并行执行，从而缓解这些限制。但既有图变换策略依赖人工设计的启发式，使其开发与适配不同优化目标十分困难。本文提出一个强化学习引导的图变换框架用于 SpTRSV，将图变换建模为序贯决策问题，由 RL 智能体学习依赖矩阵的变换策略。在真实稀疏矩阵上的实验表明，层数最多减少 94%，层代价变异系数最多降低 80%，而最高情形下仅修改 1.50% 的矩阵行。平均而言，RL 引导的图变换实现层数减少 23%、层代价变异系数降低 29%，仅重写 0.82% 的矩阵行。尽管启发式策略通常获得更激进的层数削减（31% 至 46%），RL 方法取得了最大的层代价变异系数平均降幅，显示其平衡多个竞争性图变换目标的能力。结果还表明，所学策略可通过课程学习与微调迁移至未见矩阵，而零样本实验则揭示了图变换策略跨不同稀疏模式泛化的局限。

点评: 把 HPC 里的图重写从”人写启发式”变成”RL 学策略”，虽然绝对层数削减不如手工启发式激进，但它在互相冲突的目标间取得了更好的均衡——这正是学习型方法该证明的价值。

7. 面向精确增量 BPE 的分量加权质心搜索

作者: Harshit Verma, Rex Ying | 分类: cs.DS, cs.LG 链接: arxiv.org/abs/2609.40016

精确增量 BPE 在每追加一个字节后维持规范分词状态。Jiang 与 Gong（2026）的近作以 $O(\log^2 t)$ 最坏情况时间做到这一点，其中 $t$ 为最大规范 token 长度。其质心搜索访问 $O(\log t)$ 个分量，且每个分量可能再花 $O(\log t)$ 做有序点定位。在 Jiang 与 Gong 的规范化/真合并阶段模型内，我们只改动该局部搜索。每个区间按其所选递归分量的大小加权，于是从规模 $m$ 移动到 $m'$ 的代价为 $O(1+\log(m/m'))$ 。这些代价可望远镜式求和，给出每次追加 $O(\log t)$ 时间、 $n$ 字节流上 $O(n\log t)$ 总时间，且保持相同 BPE 语义与渐近空间。我们还构造了一个固定字母表上的规范化真 BPE 族，其中计数平衡搜索在一次可达更新上需要 $Θ(\log^2 t)$ 次探测，而加权搜索只需 $Θ(\log t)$ 。一个 Rust 实现在所有测试实例上与预测的探测次数吻合。不过在普通词表上查询度很小，因此该改进是worst-case 保证而非平均速度结果。

点评: 纯理论向的算法改进，作者自己也诚实指出普通词表下查询度小、实际提速有限。但把增量 BPE 的 $O(\log^2 t)$ 收紧到 $O(\log t)$ 并配上下界构造，理论完备性值得称道，Rust 实现与预测探测次数吻合也很扎实。

8. 任意结构多水平模型的摊销贝叶斯推断

作者: Daniel Habermann, Andreas Bulling, Stefan T. Radev, Paul-Christian Bürkner | 分类: stat.ML, cs.LG, stat.CO 链接: arxiv.org/abs/2609.40024

我们提出一种用于任意结构多水平模型摊销贝叶斯推断的通用方法。给定以有向无环图指定的生成模型，我们的方法自动推导联合后验的有效因子分解及匹配的神经网络架构。关键步骤——图展开与图求逆——产生一个逆图，它决定推断网络如何堆叠与条件化，从而得到可对组数及每组观测数摊销的因子分解。不同于为加速学习或推断而简化依赖结构的方法，我们的方法保留了生成模型的全部条件独立性与可交换性假设。在三个案例研究中，它在超过 6500 个参数的模型上与金标准采样器高度吻合，而训练完成后推断被缩减为近乎瞬时的前向传播。

点评: 把”根据 DAG 自动推导后验分解并匹配网络结构”做成通用流程，解决了摊销贝叶斯推断长期依赖手工设计网络、或为提速而牺牲依赖结构的问题，6500+ 参数上与 MCMC 金标准吻合且推断近乎即时的组合很有吸引力。

本内容由 AI 辅助生成，论文信息来源于 arXiv。