蒸馏与强化学习对齐、智能体世界建模及推理可靠性评估

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖强化学习与推理蒸馏、LLM Agent 世界模型、模型路由与市场机制、自动驾驶视觉推理、多机器人协同控制、LLM 榜单统计可信度、代码运行时推理评测，以及量子机器学习等方向。

1. 何时何处信任教师：通过熵校准信用分配统一 On-Policy 蒸馏与 GRPO

作者: Jie Zhang, Jingxiao Yang, Zhehao Huang, Yuhang Liu, Xiaolin Huang | 分类: cs.LG, cs.AI 链接: arxiv.org/abs/2609.28385

基于可验证奖励的强化学习（RLVR）通过最终答案的正确性来监督数学推理，但对单个 token 几乎不提供指导。On-policy 蒸馏（OPD）能对学生生成的回答提供稠密反馈，然而教师的偏好未必反映正确性。此前的混合方法或结合 OPD 与验证器优势，或利用教师比率重新加权任务信用，但教师信号往往在基于验证器的组归一化之后才进入，且 token 级重加权并不保证保持每个回答获得的总任务信用。本文提出 UECR-GRPO，在单次 GRPO 风格更新中同时于回答级和 token 级整合验证器与教师信号。其”路径效用统一”（PUU）在单一 KL 正则化目标中结合验证器奖励与教师到锚点的路径对数比，实现时使用长度归一化的教师分数，并在组归一化和 PPO 裁剪之前融合两种奖励，使教师证据能够影响回答排序。“熵校准重分配”（ECR）随后利用带符号的教师—旧策略 token 差距来重分配验证器导出的分量：全词表教师熵用于衰减不确定的指导，而回答级的零和投影在裁剪前保持总任务信用及其 token 级符号不变。在五个数学推理基准上，UECR-GRPO 以 Qwen3-1.7B 和 Qwen3-4B 为学生模型时分别取得 17.21% 和 65.09% 的平均 Avg@12 准确率，在两个规模上分别超过最强基线 0.89 和 0.56 个百分点。

点评: 把”教师信号该在何时、以何种强度介入”这一模糊问题形式化为可证明保持信用守恒的机制，是 RLVR 与蒸馏融合方向上少见的既讲动机又讲不变量约束的工作，小模型上的稳定增益尤其值得关注。

2. Agent 编辑式世界模型：重新思考 LLM Agent 的世界建模

作者: Shuang Sun, Guoxin Chen, Fanzhe Meng, Jia Deng, Huatong Song 等 | 分类: cs.CL, cs.AI, cs.LG 链接: arxiv.org/abs/2609.28416

大语言模型（LLM）的进展使 Agent 能够在多样环境中处理长时程任务。为提升 Agent 表现，现有的语言世界模型通常预测环境观测，但在真实反馈可得的情况下，重建高熵、依赖执行的工具响应价值有限。与此同时，Agent 饱受”任务状态污染”之苦：缺乏依据的假设与过时的计划残留在历史中，扭曲后续决策。本文提出 Agent 编辑式世界模型（AEWM），它建模推理与动作如何塑造未来任务进展，而非模拟工具响应。AEWM 结合”动作评判器”（Action Judge）以区分关键、探索性与噪声决策，并以”状态修订”（State Revision）从同一观测历史中编辑掉含噪的推理—动作续写。“EditAct”将这些能力与真实执行集成，直接改变后续决策所依据的状态，而不仅仅是给出批评。作者通过中期训练与监督微调在搜索、终端与软件工程场景中训练 AEWM。AEWM 在自建 Action Judge 基准上取得 70.5% 的 macro-F1，超过最强前沿基线 10.6 个点。在六个基准与三个 Agent 骨干上，EditAct 相比最强基线平均提升 3.2–6.7 个点。此外，在经验证的 EditAct 轨迹上做拒绝采样微调（AEWM-RFT），在三个领域上比 Self-RFT 提升 2.2–2.6 个点，且在线阶段无需 AEWM 指导。

点评: 把世界模型的预测目标从”下一个工具返回什么”转向”当前推理是否值得保留”，切中了长时程 Agent 上下文污染这一真实痛点；更难得的是收益可以蒸馏回静态模型，不依赖推理时的额外开销。

3. 学习可靠推理的成本

作者: Dimitrios Rontogiannis, Ander Artola Velasco, Manuel Gomez Rodriguez | 分类: cs.AI, cs.GT, cs.LG 链接: arxiv.org/abs/2609.28322

基准测试与路由平台正日益成为连接大语言模型提供商与终端用户的中间方。然而平台上的提供商通常按 token 固定定价，使用户无法为自身任务获得最具竞争力的价格。本文设计了一个采购平台，其中每个任务的 token 价格由提供商竞争决定，使用户能够为有保证的质量水平锁定有竞争力的价格。为此，平台通过逆向二价拍卖顺序路由查询，激励模型提供商如实报出其对服务用户查询平均成本的最佳估计。在路由过程中，平台学习各提供商所提供的质量，并逐步将查询路由到满足目标质量阈值且成本最具竞争力的提供商。为验证该设计，作者在流行的数学推理与问答基准上用 Llama 和 Qwen 系列的多个 LLM 进行了实验。结果表明，平台上最具成本竞争力提供商的定价利润率因任务与质量阈值不同而差异显著——从 10% 到 71% 不等。这说明当前固定价格市场存在显著低效，也表明该平台能在竞争性市场条件允许时帮助用户获取最大幅度的节省。

点评: 把 LLM 推理服务定价从”一刀切按 token 计费”推向按质量约束的拍卖机制，并用真实模型与基准给出了市场低效的量化证据，对推理服务的经济学设计有直接参考价值。

4. AnchorReasoning：长尾自动驾驶场景中的视觉定位与因果推理数据集

作者: Zhipeng Bao, Wenjie Zhao, Tianle Zhu, Haohua Que, Chence Yang 等 | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2609.28366

视觉语言模型（VLM）为长尾自动驾驶提供了颇具前景的路径，但现有驾驶数据集在将决策关键的视觉证据与推理、规划相连接方面监督有限。本文提出 AnchorReasoning，一个构建于 WOD-E2E 之上的视觉定位推理数据集，包含 416,119 个标注帧与 395,379 个决策关键元素，覆盖四大类别与 19 种细粒度类型。每一帧被组织为一条视觉定位思维链（VG-CoT），串联决策关键元素的识别与定位、元素属性与含义、驾驶动作依据，以及动作与轨迹规划。作者进一步提出课程式监督微调策略以逐步学习这些层级能力，并给出一个目标尺寸感知的定位度量以评估定位质量。在八种通用、具身智能与自动驾驶专用骨干上的实验表明，VG-CoT 监督能提升定位推理与轨迹预测。跨模型平均而言，5 秒 ADE 与 FDE 分别下降 7.84 与 11.86，RFS Frame 与 Cluster 分别提升 1.66 与 1.70；这些增益还伴随着平均减少 18.5 个推理 token 与每帧 0.32 秒的推理延迟降低，说明面向决策的视觉定位监督对长尾自动驾驶中的 VLM 推理与规划具有实际价值。

点评: 数据规模与细粒度标注都相当扎实，更关键的是增益同时来自精度提升与推理开销下降——这在大规模驾驶 VLM 落地中往往比单纯的 benchmark 分数更重要。

5. 在推理空间中用空间 Transformer 控制 AI Agent 集群

作者: Frederic Vatnsdal, Roshan Gopal, Romina Garcia Camargo, Vijay Kumar, Alejandro Ribeiro | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2609.28247

大语言模型（LLM）为机器人规划与导航带来了令人兴奋的新范式，但随着团队规模增长，它们在即便简单的多机器人任务上也会失败。本文提出 COMPASS，一种可扩展的去中心化多机器人架构，通过推理空间反馈控制来操控大规模 Agent 机器人集群。反馈由每台机器人本地的空间 Transformer 生成，它将舰队中的多跳消息聚合为一个学习得到的反馈 token。实验发现，语言模型集群能从输入指令的结构化多样性中获益，这种多样性可以抵消偏置，且该优势在不同规模下均成立。与中心化前沿 LLM 策略以及仅语言通信的消融相比，COMPASS 的耦合设计能决定性地产生凝聚的集群编队，准确执行所命令的意图。作者表明，当推理反馈与一个紧凑的学习 token 组合时效果最佳。消融实验显示，手工设计反馈并将原始状态放入语言通道会彻底破坏凝聚力。COMPASS 能零样本泛化到含义模糊的未见指令，并以高达训练规模 16 倍的集群规模执行任务，在自然语言指令下飞行多达 1024 台机器人。

点评: 把”推理空间”当作可反馈控制的状态量，而不是把原始状态塞进 prompt，这一设计选择被消融实验清晰地验证；1024 台机器人的零样本扩展也让它区别于常见的仿真演示。

6. LLM 榜单结论对隐藏模型选择的敏感度有多高？

作者: Chen Yang, Xianyang Zhang, Jun Chen | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2609.28177

LLM 榜单上的增益可能反映的是在私有评估的模型变体之间进行选择的结果，但变体数量及其相关性均不公开。本文追问：在仍能保留某提供商相对固定比较对象具有优势的统计证据的前提下，一个已公布的领先幅度最多能容纳多少个隐藏变体。对于高斯边际模型下的固定候选族，作者推导出一条敏感度曲线，给出该最大数量作为族内相关性下界的函数。相关的相关性必须与用于排名的分数及采样模型相匹配：在一个受控族中，合并条目相关性为 0.90，而在条目重采样下综合分数相关性为 0.46，在 MMLU 学科重采样下则为 0.92。对 Open LLM Leaderboard 上 394 条相邻排名声明的基于条目的审计发现，即便在考虑选择效应之前，已有 391 条缺乏统计支持。在通过未校正检验的声明中，能否认证可能取决于关于隐藏族相关性的假设。所得曲线使这些假设显式化，而无需估计未观测到的搜索规模。

点评: 用敏感度曲线把”榜单刷分”这一长期被定性讨论的问题变成了可计算的统计量，并给出了 394 条声明中 391 条不显著的审计结果，对整个 LLM 评测生态都有警示意义。

7. LLM 能推理运行时行为吗？一个仓库级动态基准

作者: Hamed Taherkhani, Mohammad Abdollahi, Melika Sepidband, Hridya Dhulipala, Tien N. Nguyen 等 | 分类: cs.SE, cs.AI, cs.CL 链接: arxiv.org/abs/2609.28449

大语言模型（LLM）被越来越多地用于编码任务，但它们推理代码执行的能力仍不清晰。现有的仓库级问答基准主要评估静态代码理解，且常依赖 LLM 进行评估；而执行推理基准大多局限于代码片段或函数。本文提出 SWE-Flux，一个面向动态执行推理的仓库级基准，包含横跨 12 个真实 Python 仓库的 480 个执行落地实例，其标准答案由插桩测试执行自动采集，而非人工撰写或由 LLM 判定。基准覆盖单测试与多测试问题，涉及控制流、循环、程序状态、数据流、异常与程序不变量。对五个 LLM 的评估显示该任务依然困难，最佳模型仅达到 37% 的准确率。模型在局部化行为上表现较好，如不变量、过程内控制流、异常与简单循环，但在数据流、跨过程执行、精确状态推理与套件级聚合上表现挣扎。最后，作者展示该 oracle 采集流水线可利用输入扰动生成新的基准变体：它为近 90% 的选定实例成功采集到有效变体，且这些变体对被测模型而言难度显著更高。

点评: 标准答案来自真实插桩执行而非人工或 LLM 判定，这一采集方式大幅提升了评测可信度；最佳模型仅 37% 的准确率也说明”能写代码”与”能推理代码运行”之间仍存在明显鸿沟。

8. 量子分数匹配及其在学习热态中的应用

作者: Yulong Dong, Jiaqi Leng | 分类: quant-ph, cs.LG 链接: arxiv.org/abs/2609.28391

分数匹配通过让模型无需评估难解的归一化常数或配分函数即可从数据中学习，推动了经典生成学习的重要进展。然而将其原理推广到量子学习需要重新审视其基础，因为量子态由非对易的密度算符而非标量概率描述。非对易性不仅给量子分数的定义带来根本挑战，也给构建具备高效线路实现与严格理论保证的训练框架带来困难。本文通过建立一套具有端到端理论保证的通用量子分数匹配框架来弥合这一差距。应用于 Gibbs 态学习时，该方法无需额外的热态制备，并在有界局域性与相互作用度的哈密顿量的高温区间达到信息论最优的样本复杂度。这使分数匹配成为学习量子 Gibbs 态、达到当前最优表现的新路径。除理论结果外，数值模拟表明即便在有限测量预算下梯度估计不准确，该方法依然有效。在 IBM 量子硬件上的实验进一步表明量子分数匹配对 NISQ 友好：在没有任何误差缓解或校正的情况下，它将哈密顿参数相对误差从 64% 降至约 10%。

点评: 把经典分数匹配的核心优势——绕开配分函数——严格迁移到非对易的量子设定，并同时给出最优样本复杂度与硬件验证，是量子机器学习中理论与实验结合得较为完整的一例。

本内容由 AI 辅助生成，论文信息来源于 arXiv。